2022-10-04 カリフォルニア大学サンディエゴ校(UCSD)
テストでは、砂地、砂利、草地、枝や落ち葉で覆われたでこぼこの土の丘を、電柱、木、低木、岩、ベンチ、人にぶつかることなく、自律的かつ迅速に移動できるようロボットを誘導した。また、箱や机、椅子にぶつかることなく、混雑したオフィス内を移動することもできた。
この研究成果により、人間には危険で困難な場所での捜索・救助活動や情報収集を可能にするロボットの実現に一歩近づきいた。
このシステムは、ロボットの視覚と、ロボットの動き、方向、速度、位置、触覚（この場合は足下の地面の感触）を含む固有感覚と呼ばれる別の感覚様式を組み合わせることによって、脚式ロボットの汎用性を高めている。
チームが開発したシステムは、ロボットの頭の上の深度カメラで撮影されたリアルタイムの画像からのデータと、ロボットの脚のセンサーからのデータを融合させる特別なアルゴリズムセットを使用している。
実世界での運用では、カメラからの画像の受信にわずかな遅れが生じることがあるため、2つの異なるセンシングモダリティからのデータが常に同時に到着するとは限らない。
このミスマッチをシミュレーションするために、2組の入力をランダム化した。そして、融合された入力とランダム化された入力を使って、強化学習ポリシーをエンドツーエンドで学習させた。この手法により、ロボットはナビゲーション中に素早く意思決定を行い、環境の変化を事前に予測することができるようになり、人間のオペレーターの助けを借りずに、さまざまな種類の地形でより速く移動し、障害物をかわすことができるようになった。
＜関連情報＞
- https://today.ucsd.edu/story/new-algorithms-help-four-legged-robots-run-in-the-wild
- https://arxiv.org/pdf/2109.14549.pdf
- https://mehooz.github.io/mmdr-wild/
マルチモーダル遅延ランダム化を用いた視覚誘導型野生四足歩行運動 Vision-Guided Quadrupedal Locomotion in the Wild with Multi-Modal Delay Randomization
Chieko Sarah Imai, Minghao Zhang, Yuchen Zhang, Marcin Kierebiński, Ruihan Yang, Yuzhe Qin, Xiaolong Wang
Summary
Developing robust vision-guided controllers for quadrupedal robots in complex environments with various obstacles, dynamical surroundings and uneven terrains is very challenging. While Reinforcement Learning (RL) provides a promising paradigm for agile locomotion skills with vision inputs in simulation, it is still very challenging to deploy the RL policy in the real world. Our key insight is that aside from the discrepancy in the observation domain gap between simulation and the real world, the latency from the control pipeline is also a major cause of the challenge. In this paper, we propose Multi-Modal Delay Randomization (MMDR) to address this issue when training with RL agents. Specifically, we randomize the selections for both the proprioceptive state and the visual observations in time, aiming to simulate the latency of the control system in the real world. We train the RL policy for end2end control in a physical simulator, and it can be directly deployed on the real A1 quadruped robot running in the wild. We evaluate our method in different outdoor environments with complex terrain and obstacles. We show the robot can smoothly maneuver at a high speed, avoiding the obstacles, and achieving significant improvement over the baselines.
