(New Deep Learning Models: Fewer Neurons, More Intelligence)
2020/10/13 オーストリア科学技術研究所(IST Austria)
・ IST Austria、ウィーン工科大学(TU Wien)、マサチューセッツ工科大学(MIT)から成る国際研究チームが、線虫の脳に着想を得たシンプルで小型のディープラーニング(DL)モデルによる新しい人工知能(AI)システムを開発。
・ 僅か数本の人工ニューロン（神経細胞）で自動運転車の動作が制御可能な新 AI システムは、従来のDL モデルに比してノイズの処理に優れ、その簡易さからブラックボックス化することがなく動作モードの詳細が説明できるようになる。
・ 生物の脳と同様に人工ニューラルネットワーク(ANN)は多数のセルから構成され、1 個のセルが他のセルの活動に影響しながらシステムの挙動を決定する。これらのパラメータは自動学習過程で調整され、特定のタスクを解決する。
・ 同研究チームでは、ニューラルネットワークモデルの複雑性の大幅な低減と解釈可能性の増進を目標とし、DL の向上のために自然から学べることについて調査している。線虫は驚くほど少ないニューロンを用いて活動しながら興味深い挙動パターンを示すが、これはその効率的で協調的な神経システムの情報処理方法によるもの。
・ 新 DL モデルでは、個々のセル内の信号処理方法において従来 DL モデルとは異なる数学的原理をベースとし、すべてのセルが繋がっていないまばらなネットワークを持つ。僅か 75,000 個のトレーニング可能なパラメータを使用し、サイズは従来ネットワークを 2 桁下回る。
・ 新 DL モデルによる自動運転車の車線維持タスクの試験では、グレーターボストンエリアの長時間の交通映像と共に様々な状況下での車両の舵取りに関する情報をネットワークにフィードし、画像と適切な舵取りの方向を自動的に結びつけて未知の状況に対応できた。
・ 新 DL モデルのネットワークは、畳み込みニューラルネットワーク(CNN)とニューラルネットワークポリシー(NCP)の 2 部分から構成。CNN と NCP は積み重ねられており、同時にトレーニングされる。NCP は、ディープニューラルネットワークの課題である入力ノイズを強力に処理する能力を備える。
・ CNN によるインプット画像のビジュアルデータのピクセルから構造的な特徴を抽出し、ネットワークの要の「制御システム」である NCR に信号を送信し、自動車の挙動を決定する。認識モジュールから舵取りのコマンドにデータを変換する NCP は僅か 19 個のニューロンから構成され、従前の最先端モデルを 3 桁下回るサイズ。
・ 新 DL モデルのネットワークは、カメラ画像の舗道縁石側と地平線に焦点を合わせるが、これは AI システムにおいて極めて望ましく特異な挙動。また、あらゆる決定において各セルの役割が特定できるため、個々のセルの機能と挙動が理解できる。このレベルの解釈可能性は大規模な DL モデルでは不可能。
・ 優れた解釈可能性と頑健性に加え、トレーニング時間の低減と比較的単純なシステムで AI を作動する可能性が見込める。新 DL モデルの NCP は、ウェアハウスでの自動的な作業からロボットのロコモーションまで、多様なアプリケーションでの模倣学習を可能にする。今回の研究結果は、AI コミュニティーにおいて重要な新しい視点を開くものと考える。
URL: https://ist.ac.at/en/news/new-deep-learning-models/
＜NEDO海外技術情報より＞
（関連情報)
Nature Machine Intelligence 掲載論文(アブストラクトのみ：全文は有料）
Neural circuit policies enabling auditable autonomy
URL: https://www.nature.com/articles/s42256-020-00237-3
Abstract
A central goal of artificial intelligence in high-stakes decision-making applications is to design a single algorithm that simultaneously expresses generalizability by learning coherent representations of their world and interpretable explanations of its dynamics. Here, we combine brain-inspired neural computation principles and scalable deep learning architectures to design compact neural controllers for task-specific compartments of a full-stack autonomous vehicle control system. We discover that a single algorithm with 19 control neurons, connecting 32 encapsulated input features to outputs by 253 synapses, learns to map high-dimensional inputs into steering commands. This system shows superior generalizability, interpretability and robustness compared with orders-of-magnitude larger black-box learning systems. The obtained neural agents enable high-fidelity autonomy for task-specific parts of a complex autonomous system.
