自社運用計算環境での使い勝手はそのままにAI開発を加速
2020-12-14 産業技術総合研究所
ポイント
- 自社運用(オンプレミス)計算環境と外部運用(クラウド)の計算環境をシームレスに連携させて運用する技術を開発
- 計算環境の違いを意識しないでAI計算を実行可能
- オンプレミスの使いやすさとクラウドの大規模な計算資源の活用を両立することで、産業界のAI開発を加速することを期待
概要
国立研究開発法人産業技術総合研究所【理事長 石村 和彦】(以下、産総研という)産総研・東工大 実社会ビッグデータ活用オープンイノベーションラボラトリ 小川 宏高 ラボ長、滝澤 真一朗 主任研究員は、株式会社日立製作所(以下、日立という)と共同で、オンプレミスとクラウドに構築された異なる情報システムを安全に連携させたハイブリッドクラウドのAI開発環境を構築し、12月より試験運用を開始した。この環境には、新たに開発した、高度な認証機能とセキュリティー機能を持つクラウドオブジェクトストレージを用いたジョブデータ管理技術を搭載しており、安全性を維持しながらクラウドとのデータ共有を可能とする。
なお、今回の成果の一部は、2020年12月21日から開催される情報処理学会 第177回ハイパフォーマンスコンピューティング(HPC)研究会にて発表される。
ハイブリッドクラウドのAI開発環境
開発の社会的背景
近年、製造機器や自動車、人の動きなどのフィジカルな世界にある多様なデータを、サイバー空間で解析・予測して、生産計画などを最適化するサイバーフィジカルシステムの活用が加速している。この予測と最適化にはAIが用いられており、そのAI開発には計算機技術の進化に伴う投資や、一時的な計算機需要急増などへの柔軟な対応が必要であるなどの理由から、オンプレミスとクラウドをつないだハイブリッドクラウドが多く用いられるようになった。しかし、ハイブリッドクラウドにAI環境を構築するには、機密情報に関するデータセキュリティーの確保、ハードウエアやソフトウエアの仕様が違う異種システムの使い分け、管理者権限が必要な専用ソフトウエアの利用が必須、などの課題があった。
研究の経緯
産総研では、高性能計算研究の一環として、クラウド上でのジョブ実行を実現する機構の研究を行ってきた。しかし、そこで提案した新たな機構は、専用プロトコルを用いるため一般的なクラウド環境へ容易に導入できるものではなく、専門的で煩雑な作業が必要であったことが普及の妨げとなっていた。日立も同様な問題意識を持っていたことから日立のオンプレミスな計算環境と産総研のABCIのシームレス連携に関する共同研究に至った。
研究の内容
産総研は日立とともに、オンプレミスとクラウドに構築された異なる情報システムを安全に連携させ、オンプレミスの使いやすさとクラウドの大規模な計算資源の活用を両立するハイブリッドクラウドのAI開発環境を構築した。今回、オンプレミスとクラウドのシステム連携におけるデータセキュリティー確保の課題に対して、システム間のユーザー認証とデータ共有に専用のプロトコルを用いないで、高度な認証機能とセキュリティー機能を持つ汎用のクラウドオブジェクトストレージプロトコルだけを用い、ジョブデータ管理を容易に実現する技術を開発した。さらに、開発したジョブデータ管理技術はユーザー権限で実行できるので、システム管理者の許可を得る必要がないことから、その導入を容易にし、ハイブリッドクラウドの構築を容易にした。また、プログラムの実行に必要なライブラリーをパッキングして持ち運びできるコンテナ技術を活用することで、異なる情報システムでも、同じプログラムを実行可能にした。さらに、開発中のメタジョブスクリプト技術により、異なる情報システムでも、同じジョブスクリプトでジョブ実行できるようにして、オンプレミスと同じ使い勝手を維持できるようにした。
今回構築した環境の実用性を検証するために、日立中央研究所内のAI開発環境（オンプレミス）を国立情報学研究所のSINET5経由で産総研のABCI（クラウド） に接続したAI開発環境を構築し、AI開発ジョブ投入の応答速度を測定した。クラウド環境のABCI上にログインして、直接ジョブを投入した場合の応答性能0.3秒に対し、日立中央研究所のオンプレミス環境からリモートでジョブを投入した場合の応答性能は0.59秒となり、ユーザーの使い勝手に影響を与えない遅延時間で連携できることを確認した。
今後の予定
今後は、今回開発した技術によって、パブリッククラウドに構築したAI開発環境との連携にも幅広く適用できるよう開発を進め、社会イノベーションの加速に貢献する予定である。
問い合わせ
国立研究開発法人 産業技術総合研究所
情報・人間工学領域研究戦略部
用語の説明
- ◆オンプレミス
- 自社が保有する情報システムを自社内の設備でITサービスを提供する形態。
- ◆クラウド
- ネットワーク経由でユーザーにITサービスを提供する形態。
- ◆ハイブリッドクラウド
- オンプレミスとクラウドを組み合わせた形態。
- ◆AI
- Artificial Intelligence、ここでは予測・最適化を行う人工知能。
- ◆クラウドオブジェクトストレージ
- 高い耐久性、可用性、セキュリティーを持つクラウド上のストレージサービス。
- ◆ABCI
- AI橋渡しクラウド(AI Bridging Cloud Infrastructure)。産総研が構築・運用する世界最大規模の人工知能処理向け計算インフラストラクチャー。https://abci.ai/ja
- ◆コンテナ技術
- 計算機内部に隔離された計算環境を作り、そこでジョブを実行する技術。
- ◆メタジョブスクリプト
- ユーザーが利用するシステムの差異を気にせずに記述できるジョブスクリプト。
- ◆ジョブスクリプト
- ユーザープログラムを実行する手順を記述したファイル。
- ◆ジョブ実行
- ジョブスクリプトに示された手順に従ってユーザープログラムを実行すること。
- ◆学術情報ネットワークSINET5
- 日本全国の大学、研究機関などの学術情報基盤として、国立情報学研究所(NII)が構築、運用している情報通信ネットワーク。https://www.sinet.ad.jp
