2023-06-20 カーネギーメロン大学
◆この研究は、ロボットが料理や掃除などのタスクで人々を支援する能力を向上させることに役立つ可能性があります。2台のロボットは、引き出しやオーブンの扉、ふたを開けるなどの12のタスクを学習しました。
◆この新しい技術は、人間による手作業のデモンストレーションやシミュレートされた環境での訓練が不要であり、タスクをマスターするための練習が必要です。研究チームは、新しいタスクを25分で学ぶことができると示しています。これにより、ロボットが家庭内でさまざまなタスクを遂行できるようになります。
＜関連情報＞
- https://www.cs.cmu.edu/news/2023/VRB_robot_tasks
- https://robo-affordances.github.io/resources/vrb_paper.pdf
人間の動画から得られるアフォーダンスが、ロボティクスのための汎用的な表現となる Affordances from Human Videos as a Versatile Representation for Robotics
Shikhar Bah,Russell Mendonca,Lili Chen,Unnat Jain, Deepak Pathak
Conference on Vision and Pattern Recognition Published:June
Abstract
Building a robot that can understand and learn to interact by watching humans has inspired several vision problems. However, despite some successful results on static datasets, it remains unclear how current models can be used on a robot directly. In this paper, we aim to bridge this gap by leveraging videos of human interactions in an environment centric manner. Utilizing internet videos of human behavior, we train a visual affordance model that estimates where and how in the scene a human is likely to interact. The structure of these behavioral affordances directly enables the robot to perform many complex tasks. We show how to seamlessly integrate our affordance model with four robot learning paradigms including offline imitation learning, exploration, goal-conditioned learning, and action parameterization for reinforcement learning. We show the efficacy of our approach, which we call Vision-Robotics Bridge (VRB) across 4 real world environments, over 10 different tasks, and 2 robotic platforms operating in the wild
