CMUの研究者、動画から学習するロボットの能力を拡大(CMU Researchers Expand Ability of Robots To Learn From Videos)

ad

2023-06-20 カーネギーメロン大学

◆カーネギーメロン大学の研究者は、家庭での日常的なタスクを行う人々の動画を観察することで、ロボットが家事を学ぶことを可能にしました。
◆この研究は、ロボットが料理や掃除などのタスクで人々を支援する能力を向上させることに役立つ可能性があります。2台のロボットは、引き出しやオーブンの扉、ふたを開けるなどの12のタスクを学習しました。
◆この新しい技術は、人間による手作業のデモンストレーションやシミュレートされた環境での訓練が不要であり、タスクをマスターするための練習が必要です。研究チームは、新しいタスクを25分で学ぶことができると示しています。これにより、ロボットが家庭内でさまざまなタスクを遂行できるようになります。

<関連情報>

人間の動画から得られるアフォーダンスが、ロボティクスのための汎用的な表現となる Affordances from Human Videos as a Versatile Representation for Robotics

Shikhar Bah,Russell Mendonca,Lili Chen,Unnat Jain, Deepak Pathak
Conference on Vision and Pattern Recognition  Published:June

Abstract

Building a robot that can understand and learn to interact by watching humans has inspired several vision problems. However, despite some successful results on static datasets, it remains unclear how current models can be used on a robot directly. In this paper, we aim to bridge this gap by leveraging videos of human interactions in an environment centric manner. Utilizing internet videos of human behavior, we train a visual affordance model that estimates where and how in the scene a human is likely to interact. The structure of these behavioral affordances directly enables the robot to perform many complex tasks. We show how to seamlessly integrate our affordance model with four robot learning paradigms including offline imitation learning, exploration, goal-conditioned learning, and action parameterization for reinforcement learning. We show the efficacy of our approach, which we call Vision-Robotics Bridge (VRB) across 4 real world environments, over 10 different tasks, and 2 robotic platforms operating in the wild

0109ロボット
ad
ad
Follow
ad
タイトルとURLをコピーしました