熟練者が現場状況を自由な視点で観察し、アバターの手指の動きで現場作業者にお手本を見せる
2023-03-15 株式会社日立製作所
図1 VR・AR技術による遠隔作業支援イメージ （デリケートな部品(黄色のリング)交換作業の例）
本研究トピックスに関する動画「仮想世界と現実をつないでお手本をみせる遠隔支援 – 日立」
日立は、仮想現実（VR*1）や拡張現実（AR*2）を活用し、産業分野における設備の点検・修理作業を、離れた場所にいる熟練者が現場の作業者に対し、安全・正確に、効率よく指示可能な技術を開発しました。本技術により熟練者は、(1)現場の多様な状況を自由な視点で観察、(2)熟練者のアバターの手指の動きで現場作業者に直感的に指示、(3)熟練者は手指の動きのみで、これら二つの動作を円滑に切り替えることが可能です（図１）。
人手不足が深刻化する中、各国のお客さまの設備停止期間を短縮するためにデジタルソリューションの提供が求められています。日立は今後、本技術をメタバース活用の産業ソリューションにも適用し、お客さまの安全性、生産性、レジリエンスの向上に貢献していきます。
本成果の一部は、2022年12月14日から16日に福岡国際会議場で開催された国際学会29th International Display Workshops (IDW’22)において発表され、Best Paper Awardを受賞しました。
研究の背景
設備の点検・修理作業では、設計や故障原因など個々の状況により、経験の浅い作業者では安全・正確な作業が困難になり、熟練者による支援が必要となる場合があります。その際、対応可能な熟練者を確保できない場合や、お客さまが設備の復旧を急ぐ場合には、遠隔地の熟練者が現場の作業者から報告を受けながら作業を指示します。しかし、観察すべきポイントを現場作業者が理解せずに撮影した現場の動画や報告内容では、熟練者は状況を十分に把握できません。また、熟練者が作業を判断できても、その内容が現場作業者にとって複雑・未経験であれば、安全上の禁止行為や触れてはいけない箇所の指示含め、必要な情報を伝達できず、熟練者、現場作業者ともに不安を拭いきれず、結局熟練者が現場に急行し、復旧に時間を要する場合があります。
近年、このような問題に対し、オンライン会議システムなどデジタル技術を活用した遠隔作業支援ソリューションが国内外で開発されています。定常的な点検・修理作業であれば、このようなデジタルソリューションにより熟練者が作業支援することが可能ですが、想定できない障害への対応や、作業者の安全上、特に慎重な取り扱いを要するような非定常作業では、現場作業者は遠隔からの指示だけで作業を進めることは困難です。
開発した技術の詳細
日立は、これまで蓄積された多様な設備の運用保守サービスにおける知見と、VR・AR技術を融合することにより、(1)遠隔地の熟練者が見たい場所を自由な視点でリアルタイムに観察可能、(2)作業内容を指示する際には「こそあど言葉」を使いながら、現場の作業者に動作の「お手本を見せる」ことで、言語で伝達困難な複雑な作業を直感的に教示でき、さらに、(3)熟練者は観察と動作の教示を、手指の動きのみで円滑に切り替える可能なシステムを開発しました。今回開発した技術の特徴は以下のとおりです。
1. 遠隔から自由な視点でリアルタイムに観察可能な技術（自由視点観察技術）
三次元（以下、3D）現場センシングおよびVR技術を用い、現場の状況をVR空間にリアルタイムで再現し、遠隔から自由な視点で観察可能な技術を開発しました。
具体的には、現場の物体の点群データ*3を複数の3Dカメラで取得し、生成されたVRコンテンツを遠隔地へ伝送することで、モニター用の一般的なディスプレイやヘッドマウントディスプレイなどを用いて遠隔から自由な視点でリアルタイムに観察可能としました。
本技術の効果を検証するため、従来技術として、現場の作業者が装着したヘッドマウントディスプレイを通じ、遠隔地の熟練者が現場を観察する方法（以下、一人称視点観察）と本技術の使いやすさを比較しました。具体的には、被験者28名に対し、現場の5段ラックに置かれた4色ブロック数のカウントに要する時間を計測した結果、本技術では従来に比べ観察時間が65.7％短縮しました（図2）。従来技術では、現場の判断で遠隔者と視野画像を共有するため視点が限定され、遠隔からの観察に時間を要する一方、自由視点観察では、遠隔から自由な視点で確認できるため時間を短縮でき、観察エラーも低減すると考えられます。
図2 自由視点観察技術と従来技術（一人称視点観察）の比較
2. 遠隔から手指の動きで教示可能な技術
モーションセンシング*4およびAR技術により熟練者の手指の動きを計測し、遠隔から作業の「お手本」を見せる技術を開発しました。具体的には、熟練者の頭部や手指の動作をモーションセンシングによりデジタルデータとして取り込み、作業者が装着したスマートグラスなどのARデバイス上に、熟練者（アバター）の頭部・手指として重畳表示し、遠隔からリアルタイムかつお手本を見せたい位置で直感的に作業の動作を教示可能なシステムを開発しました。
本技術（以下、手指動作伝達）の効果を検証するため、従来技術として会話により現場作業者に作業を指示する手法（以下、会話伝達）と本技術の使いやすさを比較しました。具体的には、被験者28名に対し、青色のブロックを、現場の5段ラックの教示された位置および向きで設置する作業に要する時間を計測した結果、手指動作伝達では会話伝達に比べ設置に要する時間が27.9％短縮されました（図3）。会話伝達では、現場作業者の位置や向きに合わせ、設置すべき物体の位置や向きを1つずつ言語で説明する必要がある一方、手指動作伝達では、作業者が内容を直感的に理解できることから時間を短縮でき、複雑な作業におけるエラーの発生や事故も低減すると考えられます。
図3 手指動作伝達と従来技術（言語伝達）の比較
自由視点観察や、教示（手指動作）への切り替えには通常、レバーやキーの付いたコントローラーが用いられますが、この切り替え作業も含めて、全てを手指動作で実行できるユーザインターフェースを開発し、熟練者が観察と教示を円滑に切り替え可能としました。
具体的には、自由視点観察では、3DのVR空間内を遊泳する（水中を泳ぎ回る）ように手でかき分ける動作で移動する技術を開発しました。これにより、VR空間内の移動に不慣れな熟練者であっても、数分以内の練習で自在に移動可能となります。また、観察と教示の切り替えには、教示では使用しない手指のジェスチャー（たとえば左手の親指と人差し指を合わせる動作）により切り替え可能としました。
本技術の効果を検証するため、従来技術として、自由視点観察時にはコントローラーを使用し、教示時には手指動作を使う方式と本技術で使いやすさを比較しました。具体的には、被験者28名に対し、現場の5段ラックに設置されたブロックの数を数え、その数に応じ現場作業者に作業を指示する課題において、観察開始から作業指示終了までに要する時間を計測した結果、本技術では従来に比べ13.9％時間が短縮されました（図4）。観察時にコントローラーを使用する場合は、観察から教示に切り替える度にコントローラーを近くに置くため作業が中断する上、手指動作時のスペースが限定されますが、全てを手指動作で実行できるユーザインタフェースでは、観察と指示を円滑に切り替え可能なため時間を短縮できたと考えられます。
図4 観察・教示とも手指動作で行う場合と、観察にコントローラーを使用する場合の比較
- *1 VR: バーチャルリアリティ（Virtual Reality）；見た目や形は原物そのものではないが、本質や効果は現実であることであり、たとえば仮想的な空間などを現実であるかのように体験できる。仮想現実、人工現実感などと呼ばれる。
- *2 AR: 拡張現実（Augmented Reality）； 現実空間に対して仮想的な情報やコンテンツを重畳できる技術を用いる。
- *3 3次元測量によって得られた3次元座標を持った点の集合
- *4 人の身ぶりや手ぶり、指先の動きなどを検出する技術
照会先
株式会社日立製作所 研究開発グループ
