人工知能(AI)が効率的な混ぜ方を自動で学習～流体混合問題に対する強化学習の有効性を実証、環境低負荷型社会実現への貢献に期待～

2022-09-26

2022-09-05 東京理科大学

研究の要旨とポイント

流体混合は、さまざまな工業プロセスにおいて重要な役割を担っているにもかかわらず、流体混合を最適化する手法は確立されていません。
本研究では応用数学的アプローチから、機械学習の一種である強化学習が流体混合の最適化手法として有効であることを実証しました。本手法は、時間発展を記述する方程式が未知な系にも原理的に適用可能です。
今後、本研究成果をベースとして、現実的な問題への応⽤や強化学習アルゴリズムおよび実装法の改善などを進めることにより、産業における環境負荷やエネルギーコストの軽減に貢献すると期待されます。

製薬や化学⼯業においては少ないエネルギーかつ短時間で均質な混合状態を実現すること、つまり流体混合の「促進」が課題となります。一方、重油等の環境汚染物質が海中や空気中に流出した場合は混合を「抑制」する必要があります。これらの例をはじめとして、⽬的に応じた流体混合の制御は、さまざまな場面で求められています。しかし、流体混合のふるまいには未解明な部分も多く、制御に応⽤可能な最適化⼿法は確⽴されていません。

東京理科大学理学部第一部応用数学科の犬伏正信准教授、大阪大学大学院基礎工学研究科の小西幹人氏(研究当時大学院生、2020年度修士課程修了)、後藤晋教授の研究グループは、応用数学の観点から、機械学習の中でも、時間大域的(＊1)な最適化問題に強いという特性を持つ強化学習(＊2)を用いることで、指数関数的に高速な流体混合を実現し、流体混合プロセスの最適化に有効であることを実証しました。本手法は、時間発展を記述する方程式(数理モデル)が未知な系にも原理的に適用可能です。

今後、本研究成果をベースとして、現実的な問題への応⽤や強化学習アルゴリズムの改善などを進めることにより、産業における環境負荷やエネルギーコストの軽減に貢献すると期待されます。

本研究成果は、2022年8月22日に国際学術誌「Scientific Reports」にオンライン掲載されました。

研究の背景

流体混合は、さまざまな工業プロセスにおいて重要な役割を担っているにもかかわらず、ほとんどの混合プロセスは、数学的な最適化ではなく、物理実験による試行錯誤的な手法で経験的に設計されています。本研究グループは、流体混合の数学的な最適化を目指し、研究を行いました。

これまで流体混合は、一定の法則に従って時間発展する系を記述する、力学系理論と呼ばれる応用数学分野で研究されてきました。なかでも、時間的に周期性をもって変化する流れによる流体混合についての研究は比較的進んでいます。たとえば、薄い液体層の下面を一様に加熱することで温度勾配が生じ、局所的な細かい対流が生まれるべナール対流と呼ばれる現象では、ごく近くに存在していた流体粒子でも、その軌跡は指数関数的に離れていくことが知られており、これによって流体の混合が起こります。

現実世界には、周期性を持たない流れによって流体の混合が進むケースが多いため、非周期的な流れによる流体混合の仕組みについても明らかにする必要があります。しかし、非周期的な流れによる混合機構などはまだわからない部分が多く、混合の制御に有用な最適化⼿法は確⽴されていないのが現状です。

そこで犬伏准教授らは、系の時間発展を記述する方程式(数理モデル)がわかっていない現象にも原理的に適応可能な強化学習に着目しました。強化学習のアルゴリズムはマルコフ決定過程(＊3)という数学的枠組みによって定式化されており、その最適性は厳密に証明されています。強化学習は、目先の瞬間的な報酬ではなく、解きたいタスク(例:コーヒーにミルクを入れた後、どのようにスプーンを動かすと短い時間で混ぜることができるか)の開始から終了までのプロセス全体を通じて得られる報酬(累積報酬)の最大化を目指して学習していくというアルゴリズムで、時間大域的な最適化問題に適しています。最終的に流体がどのくらい混ざり合うかは、流体の引きのばしや折りたたみ、分子拡散とのカップリングなどの現象がどういった順序で起こるのかに依存するため、効率的な混合プロトコルの設計は時間⼤域的な最適化問題といえます。そのため、強化学習は、流体混合問題にも有効であると考え、本研究を行いました。

研究結果の詳細

流れによって運ばれる効果(移流)と拡散が生じている2次元の系において、強化学習を用いて学習させた結果、カオスの本質である引き伸ばしと折り畳みの流れを自動的に獲得し、指数関数的に高速な混合を実現しました。流体粒子がカオス的に振る舞うとき、効率良く混合されると考えられていることから、これは本手法の有効性を裏付ける結果といえます。

また、本手法は、スカラー場(＊4)と速度場(＊5)のみを入力データとして用いるため、従来の手法よりも適応範囲が広いことが特徴です。

さらに、本研究では、あるペクレ数(＊6)で学習させたミキサーを別のペクレ数での混合問題に再利用する転移学習法を採用して学習コストを抑える方法も提案しています。

今後、流体混合問題への応⽤方法の検討や、アルゴリズムや実装法の改善を経て、工業プロセスの効率化に代表される流体混合に関するさまざまな実問題に応用できれば、環境負荷の少ない社会を実現することに貢献すると期待されます。

※ 本研究は、日本学術振興会科学研究費補助金(課題番号19K14591、19KK0067、20H02068、22K03420)の助成を受けて実施したものです。