2022-12-06 スイス連邦工科大学ローザンヌ校(EPFL)
3人の科学者はDMAP（Distributed Morphological Attention Policy）と呼ばれる新しいネットワークアーキテクチャを開発した。このネットワークアーキテクチャは、生物の感覚運動制御の基本原理を取り入れたもので、感覚運動機能を研究するための興味深いツールとなっている。
DMAPが解決しようとしている問題は、人間を含む動物は、環境と自分自身の身体の両方の変化に適応するように進化してきたということである。
研究チームはDMAPの開発にあたり、動物が「形態的摂動」（体の一部の長さや太さが変化すること）を受けたときに、どのように歩行を学習するかに注目した。
研究者たちは、神経科学の原理を取り入れ、より良い感覚運動システムを設計するために神経ネットワークに抽出した。
DMAPは、手足の長さや幅といった形態的なパラメータに関する情報を一切受け取ることなく、形態的な摂動を受けた身体で「歩く」ことを学習することができた。驚くべきことに、DMAPは、そのような身体パラメータにアクセスできるシステムと同じように「歩く」ことができた。
DMAPのようなモデルは、生物学的な洞察に基づいてより優れた人工知能システムを構築することと、逆に、脳を理解するためのより良いモデルを構築することという2つの役割を担っています。
＜関連情報＞
- https://actu.epfl.ch/news/locomotion-modeling-evolves-with-brain-inspired-ne/
- https://openreview.net/forum?id=uAIQymz0Qp
DMAP: 変化する身体で運動することを学習するための分散型モルフォロジーアテンションポリシー DMAP: a Distributed Morphological Attention Policy for learning to locomote with a changing body
Alberto Chiappa, Alessandro Marin Vargas, Alexander Mathis
NeurIPS Published: 01 Nov 2022
DOI: 10.48550/arXiv.2209.14218
Abstract
Biological and artificial agents need to deal with constant changes in the real world. We study this problem in four classical continuous control environments, augmented with morphological perturbations. Learning to locomote when the length and the thickness of different body parts vary is challenging, as the control policy is required to adapt to the morphology to successfully balance and advance the agent. We show that a control policy based on the proprioceptive state performs poorly with highly variable body configurations, while an (oracle) agent with access to a learned encoding of the perturbation performs significantly better. We introduce DMAP, a biologically-inspired, attention-based policy network architecture. DMAP combines independent proprioceptive processing, a distributed policy with individual controllers for each joint, and an attention mechanism, to dynamically gate sensory information from different body parts to different controllers. Despite not having access to the (hidden) morphology information, DMAP can be trained end-to-end in all the considered environments, overall matching or surpassing the performance of an oracle agent. Thus DMAP, implementing principles from biological motor control, provides a strong inductive bias for learning challenging sensorimotor tasks. Overall, our work corroborates the power of these principles in challenging locomotion tasks. The code is available at the following link: https://github.com/amathislab/dmap
