人間とAIの協調により記述式答案自動採点の品質を保証～AIによる安全な自動採点の実現に道～

2022-09-01

2022-08-31 東北大学

【本学研究者情報】

〇情報科学研究科　システム情報科学専攻　自然言語処理学分野
教授　乾健太郎

【発表のポイント】

深層学習（注１）の登場により人工知能（AI）による記述式答案の自動採点精度は飛躍的に向上しており、実用化への機運が高まっている。
AIによる採点誤りの懸念は依然として存在しており、AIによる自動採点品質を保証することが今後の実用化に向けて大きな課題となっている。
人間の採点者とAIが自動採点結果の信頼度をもとに採点作業を分担することで採点の品質を保証する実践的な枠組みを構築し、その実現性を確かめた。
本研究を足がかりにして、AIによる自動採点の品質保証に向けた研究開発がさらに進むことが期待される。

【概要】

東北大学大学院情報科学研究科/理化学研究所の舟山弘晃研究員（博士後期課程）、佐藤汰亮研究員（現在は楽天グループ株式会社所属）、松林優一郎准教授、鈴木潤教授、乾健太郎教授、フューチャー株式会社 /理化学研究所の水本智也研究員（現在はLINE株式会社所属）らの研究グループは、この課題の解決に向けて、人間の採点者とAIが採点タスクを分担することで、採点品質を保証するための実践的なフレームワークの構築を試み（図１）、このフレームワークにより採点品質を適切にコントロールできることを明らかにしました。

本研究成果は、英国ダラム大学で開催された教育に関する人工知能の国際会議The　23rd International Conference on Artificial Intelligence in Education (AIED2022)　で採択され、7月27日に発表いたしました。

図 1. 人間の採点者とAIの分担による採点品質の保証

【用語解説】

（注1）深層学習
人間の脳神経回路を計算機的に模倣したニューラルネットワークを多層に組み合わせる機械学習手法の一つ。近年では、画像認識、言語処理、音声認識など様々な分野で盛んに活用されている。

詳しい資料は≫