2022-10-26 カリフォルニア大学バークレー校(UCB)
A quadruped robot learns to walk on different types of terrain during an experiment by Berkeley researchers in Sergey Levine’s lab. (Photo courtesy of Laura Smith)
研究者チームは、ロボット工学の分野では初めて、モデルやシミュレーションによる事前学習なしに、ロボットがわずか20分で歩けるようになることを実証した。このロボットは、歩行に必要な動きを習得し、さまざまな環境に適応するために、現場での試行錯誤だけに頼っていたため、今回のデモンストレーションは大きな前進と言える。
研究者チームは、RLアルゴリズムと機械学習フレームワークの進歩を活用することで、学習速度を加速させることに成功した。このアプローチにより、ロボットは環境と相互作用しながら、失敗からより効率的に学習することができるようになった。
＜関連情報＞
公園を散歩する：デルフリー強化学習で20分で歩けるようになる
A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning
Laura Smith, Ilya Kostrikov, Sergey Levine
arXiv Submitted: 16 Aug 2022
DOI:https://doi.org/10.48550/arXiv.2208.07860
Deep reinforcement learning is a promising approach to learning policies in uncontrolled environments that do not require domain knowledge. Unfortunately, due to sample inefficiency, deep RL applications have primarily focused on simulated environments. In this work, we demonstrate that the recent advancements in machine learning algorithms and libraries combined with a carefully tuned robot controller lead to learning quadruped locomotion in only 20 minutes in the real world. We evaluate our approach on several indoor and outdoor terrains which are known to be challenging for classical model-based controllers. We observe the robot to be able to learn walking gait consistently on all of these terrains. Finally, we evaluate our design decisions in a simulated environment.
