品質の不透明性を除去し、AIシステムのビジネス活用加速に期待
2020-11-18 産業技術総合研究所
NEDOと産業技術総合研究所は、人と共に進化するAIシステムの実現に向けて基盤技術の開発に取り組んでおり、AIシステムに関する品質の指標および測定プロセスを提供する「機械学習システムの品質評価テストベッドα版（機能限定）」を開発し、企業・大学などの開発者向けにオープンソースソフトウエアとして本日、公開しました。
このテストベッドを利用することでAIシステムの品質について定量的に評価するとともに、開発プロセスや評価記録・検証など包括的な支援を行うことができ、品質に関する不透明性の解消やビジネス活用の加速が期待できます。
今後は、品質評価プロセスの共通基盤としての機能をさらに充実させて、AIシステム品質管理のエコシステム構築を目指します。
1．概要
実社会でAIシステムを広く活用するためには、安心して利用可能とする品質マネジメントが不可欠です。
国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「人と共に進化する次世代人工知能に関する技術開発事業※1」において、国立研究開発法人産業技術総合研究所（産総研）は2020年6月に「機械学習品質マネジメントガイドライン※2」（以下「ガイドライン」）を公開し、AIシステムのサービスに求められる品質マネジメントに関する取り組みや検査項目を網羅的にまとめました。
このガイドラインに示した品質マネジメントを実施していくためには個別の品質評価項目に対して具体的な品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境が必要です。すでに、機械学習モデルの管理とともにAIシステムの品質要件定義から運用までのライフサイクルを支援するいくつかのツールが存在しますが、次々に開発される新しい機械学習モデルや品質測定技術などを柔軟に取り入れられる共通基盤はこれまで存在しませんでした。
このような状況を踏まえ、NEDOと産総研は同事業で「機械学習システムの品質評価テストベッドα版（機能限定）」（以下、「本テストベッド」）の開発を進め、11月18日からWeb上で公開しました。本開発の仕様検討においては、機械学習品質マネジメント検討委員会※3の協力を得ています。（機械学習システムの品質評価テストベッドα版（機能限定）https://github.com/aistairc/qunomon）
本テストベッドは、ガイドラインに沿った品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境を提供するオープンソースソフトウエアで構成されています。さらに、新しく開発された機械学習モデルや品質測定技術などを柔軟に取り入れる仕組みを構築しました。これを用いることで、AIシステム開発者とAIシステム品質評価者に品質指標などの定量的評価を提供し、一元的な品質管理プロセス環境を構築することで開発プロセスや評価記録・検証などを包括的に支援します。本テストベッドを公開し、広く企業や大学などのAIシステム開発者・評価手法開発者などに利用されることで、品質に関する不透明性が解消されAIシステムのビジネス活用を加速させることが期待できます。
2．機械学習システムの品質評価テストベッドα版の内容
本テストベッドは、AIシステム開発者・AIシステム品質評価者・評価手法開発者が共同で参加し、AIシステム開発時に品質管理で用いる学習・検査などのツールを組み込み、開発プロセス支援と評価記録・検証とを両立させる作業環境を提供するソフトウエア群です。今回公開される本テストベッドは、以下の三つの要素から構成されます。
○「AIシステム評価パッケージ（AIT）※4」作成ツール
評価手法開発者が、ガイドラインに基づく評価指標を用い評価測定方法を開発するためのツールです。新たなAIT開発を容易にするエディターと実行エンジンを提供します。
○品質アセスメントWebサーバー
評価手法開発者が開発したAITを取り込んで品質評価を行うWebサーバーです。評価技術がAITとして当該サーバーに内包されており、評価結果を管理する共通基盤上でアプリケーションプログラミングインターフェース（API）※5経由でAITを利用することができます。
○評価レポート作成アプリケーション
品質評価者とAIシステム開発者のコミュニケーションを向上させるためのアプリケーションです。このアプリケーションでは、AIシステム開発者が持つデータセットおよび機械学習モデルを総合的に管理する作業環境の下、品質評価に関するレポートをグラフィカルなユーザーインターフェースで簡単に作成できます。
図 機械学習システムの品質評価テストベッドα版
3．今後の予定
引き続きNEDOの「人と共に進化する次世代人工知能に関する技術開発事業」で、データの前処理・可視化・工程管理追跡など、テストベッドα版の機能強化を行います。また、さまざまなAITの収集・管理・共有が可能なオンラインストレージ※6を構築してテストベッドと一体化しβ版を公開します。さらに、公開したテストベッドβ版を実用化レベルのAIシステムの評価に適用し事例を蓄積することで、ガイドラインの使いやすさを向上させ、AIシステム品質管理のエコシステムの構築を目指します。
注釈
- ※1 人と共に進化する次世代人工知能に関する技術開発事業
- 事業期間：2020年度～2024年度
- ※2 機械学習品質マネジメントガイドライン
- 「人と共に進化する次世代人工知能に関する技術開発事業」で、産総研が企業・大学・国立研究機関などの有識者委員とともに構成した「機械学習品質マネジメント検討委員会」でとりまとめ、初版を2020年6月に公開しました。具体的には、AIシステムにおける品質について、AIシステム利用時に必要な「利用時品質」、AIシステム中で機械学習要素に要求される「外部品質」、機械学習要素が固有に持つ特性の「内部品質」を定義し、AIシステムのライフサイクル全体にわたる品質マネジメントの必要な取り組みや検査項目を網羅的に明示しています。
参考：NEDOニュースリリース 2020年6月30日「機械学習品質マネジメントガイドラインを公開」https://www.nedo.go.jp/news/press/AA5_101325.html
産総研プレスリリース 2020年6月30日 「機械学習品質マネジメントガイドラインを公開」
産総研：機械学習品質マネジメントガイドラインを公開www.aist.go.jp - ※3 機械学習品質マネジメント検討委員会
- 機械学習品質マネジメントガイドラインおよび関連する文書・ソフトウエアシステム等の検討のための企業・大学・国立研究機関などの有識者で構成された委員会です。 https://www.cpsec.aist.go.jp/achievements/aiqm/members.html
- ※4 AIシステム評価パッケージ（AIT: AI system Test package）
- AIシステム開発に必要なデータセットや機械学習モデルなど、機械学習要素についての具体的な品質尺度を測定するソフトウエアプログラムです。
- ※5 アプリケーションプログラミングインターフェース（API: Application Programming Interface）
- あるソフトウエアの機能を別のソフトウエアやプログラミング言語などから利用するための仕組みです。
- ※6 オンラインストレージ
- インターネット上でデータが保管できるディスクスペースのことです。
