ナノスケール構造体を手で操作できるネットワーク型VR環境を開発

2020-01-27

AIを用いた予測制御技術により実際の手と遠隔仮想ハンドの同期を実現

2020-01-27 新エネルギー・産業技術総合開発機構,東京工業大学

NEDOは、「次世代人工知能・ロボット中核技術開発」に取り組んでおり、今般、NEDOと東京工業大学は、DNAオリガミで構成されるナノスケール構造体を仮想現実（VR）上の仮想分子として表現し、手で操作できるネットワーク型VR環境を開発しました。

仮想分子や仮想ハンドの動作を遠隔のサーバーコンピューターを用いて高速に計算処理する技術や、人工知能（AI）による深層学習技術を用いて実際の手の動きを予測制御する技術の開発により、実際の手の動きと遠隔のサーバーコンピューター上で動作する仮想ハンドの動きを同期させることに成功しました。

この研究成果は、実際には目で見ることができない微小管やDNAオリガミなどを用いた新しい分子人工筋肉やドラッグデリバリーシステムなど創薬の研究開発に応用できるほか、クラウドを用いたVRゲームの開発やロボットの遠隔操作への応用も期待されます。

本研究成果は、1月29日から31日まで、東京ビッグサイトで開催される「nano tech 2020」のNEDOブースでデモ展示されます。（ブース番号：西1・2ホール　AT-01）

図1　仮想ハンドで仮想分子を操作している様子

1．概要

仮想現実（VR）は、Society 5.0時代のサイバー空間と実空間を融合する新しいコンピューター利用環境として注目されています。VRを用いることで、実際には目で見ることができない分子構造を、コンピューターシミュレーションにより仮想分子としてサイバー空間上に創り出し、あたかも目の前に分子があるかのように表示することができます。また、市販のVRカメラと組み合わせることで、自分の手をVR空間上に仮想ハンドとして表示することが可能となります。これにより、目の前の仮想分子をつかみ、どのくらいの力をどの方向に加えると仮想分子がどのように変形するかをVRシミュレーションで確かめることできます。しかし、DNAオリガミ^※1などで構成されるナノスケール構造体をシミュレーションするためには高性能なサーバーコンピューターが必要でした。さらに遠隔のサーバーコンピューター上で動作させた場合、実際の手の動きに対して仮想ハンドの動きが遅れることで「VR酔い^※2」と呼ばれる現象が発生し、長時間のVR操作が難しいという問題がありました。

今般、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「次世代人工知能・ロボット中核技術開発」において、NEDOと国立大学法人東京工業大学は、VRクライアントコンピューターとVRサーバーコンピューターから構成され、DNAオリガミで構成されるナノスケール構造体を手で操作できるネットワーク型仮想現実（VR）環境を開発しました。また、人工知能（AI）による深層学習技術を用いて、人間の手の動作を予測制御する技術を開発することにより、人間の手の動作と遠隔のVRサーバーコンピューター上での仮想ハンドの動作を一致させることに成功しました。これにより、大規模な分子の正確な立体構造や動きをより詳細に理解することが可能となり、より効率的な分子設計の研究開発が期待されます。この研究成果は、新しい分子人工筋肉や創薬などの有機物分子の研究開発に応用できるほか、クラウドを用いたVRゲームの開発やロボットの遠隔操作への応用も期待されます。

本研究成果は、1月29日から31日まで開催される「nano tech 2020」のNEDOブースでデモ展示されます。（ブース番号：西1・2ホール　AT-01）

2．今回の成果

【1】ネットワーク型VR環境の開発

DNAオリガミで構成されるナノスケール構造体をVR環境で実現するためには、1秒間に90フレーム以上のVR表示と大規模なVRシミュレーションを同時に実現する必要があり、高速な計算処理が必要となります。本研究では、VRの表示と操作を行うVRクライアントコンピューターとVRシミュレーションを実行するVRサーバーコンピューターを毎秒10ギガビット（10Gbps）の転送速度を持つ高速ネットワークで結合したネットワーク型VR環境を構築しました。複数のGPUを用いたVRサーバーコンピューターを用いることにより、DNAオリガミのように40万原子を超すようなナノスケール構造体をVR上でシミュレーションすることが可能となりました。

図2　ネットワーク型VR環境の開発

【2】DNAオリガミ原子モデルの構築

分子人工筋肉^※3では、微小管^※4やDNAオリガミで構成されるナノスケール構造体を構築し、分子モーター^※5を使って分子部品を動かすことで筋肉のような収縮運動を実現しています。従来、ナノスケール構造体は研究者が実験的にしか作成することができなかったため、開発に数ヶ月単位の時間がかかっていました。本研究では、DNAオリガミのモデルをVR上に仮想分子として再現することで、DNAオリガミの詳細な構造を手で確かめながら設計することが可能となりました。

【3】仮想ハンド予測制御技術の開発

前述したネットワーク型VR環境を用いると、大規模VRシミュレーションは可能となりますが、VRサーバーコンピューターとVRクライアントコンピューターの間にネットワークの遅延が生じます。VR環境では、通常、遅延が0.03秒を超えると利用者に違和感が生じ、VR酔いが発生すると言われています。本研究では、AIの深層学習技術を用いて利用者の手の動きを予測し、予測結果に基づいて遠隔のサーバーコンピューター上にある仮想ハンドを動かすことにより、遅延を解消しました。図3に示すように、通常は、実際の手（緑）より遅れて遠隔仮想ハンド（白）が動くため違和感が生じます（上図）。一方、AI予測制御を用いると実際の手の動き（緑）と遠隔仮想ハンドの動き（白）が一致するため違和感なく操作ができます（下図）。

図3　AI予測制御による実際の手と遠隔仮想ハンドの同期

【注釈】

※1 DNAオリガミ

DNAを素材とした2次元または3次元の人工物。約7,000塩基の一本鎖DNAを数百本の短いDNA鎖を用いて部分的に二重らせんを形成することでさまざまな形状の人工物を数十ナノメートルというサイズで構築できる。分子人工筋肉では、6本のDNAオリガミを合体させ、さらにDNA修飾微小管と結合可能なDNA鎖を周囲に装備したDNAオリガミ分子部品を利用。

※2 VR酔い

VR環境を長時間体験することで発生する、乗り物酔いと似た症状。脳で認識する視覚情報と実際の手や体の動きが一致しないことが原因と考えられている。

※3 分子人工筋肉

微小管、DNAオリガミおよび分子モーターを素材として作られた分子部品から構成される人工物。光を照射すると収縮運動する人工筋肉のプロトタイプがNEDO「分子人工筋肉プロジェクト」で開発されている。

分子人工筋肉の概略を表した図

※4 微小管

細胞内では骨格構造として使われている直径25ナノメートルの筒状の蛋白質複合体。分子量約5万のαチューブリンとβチューブリンが結合したチューブリン二量体が直線状に重合した線維構造（プロトフィラメント）を構成し、およそ13本のプロトフィラメントが横に並んで管構造を形成します。分子人工筋肉では、部分的にDNA鎖で化学修飾した微小管分子部品を利用。

※5 分子モーター

化学エネルギー（アデノシン三リン酸：ATP）で駆動する分子。キネシン分子モーターは1つの分子でも微小管を動かすほどの駆動力を持つ。分子人工筋肉では、4つのキネシン分子をで結合したキネシン分子部品を利用。