AIによる不審行動検知や試験問題作成を支援するシステムの実証研究を実施

ad
ad
ad

受験者、試験提供者双方に、安心で効果的なオンライン試験の実現に向けて

2021-03-22 富士通株式会社

当社は、慶應義塾大学医学部医学教育統轄センター(注1)の協力のもと、オンライン試験における本人確認や不正検知などの課題を、先行する欧米で多くの導入実績があるオンライン自動試験監督システムなどで解決し、受験者、試験提供者双方にとって、安心かつ公平、効果的なオンライン試験の実現を目指す実証研究を2021年2月から3月にかけて実施しました。

実証研究では、顔の有無や向きの検出などが可能なAIにより本人確認や試験中の不審行動を検知するProctorio Inc,(注2)(以下、Proctorio社)のオンライン自動試験監督システム「Automated Proctoring Solution」と、多様な設問形式で柔軟かつ効率的にオンライン試験問題の作成や配信が可能なQuestionmark Computing Limited(注3)(以下、Questionmark Computing社)の「Questionmark OnDemand」の両システムを使用したオンライン仮試験を実施し、自宅などから受験する学生の様子をシステムで記録、解析することで、両システムの有用性を確認しました。

当社は今後、本有用性を踏まえて、大学や教育機関、企業研修において、より安心で効果的かつ効率的なオンライン試験やアセスメント環境の提供を可能とするニューノーマル時代に対応したエドテックサービスの開発を進めていきます。

背景

新型コロナウイルス感染症拡大の影響で、教室や会場に集合して実施する資格試験や検定試験の延期や中止が相次ぎ、自宅などで受験できるオンライン試験への注目が急速に高まっています。しかし、オンライン試験では、本人確認の難しさから発生する替え玉受験やカンニングをはじめとする試験中の不正行為などの防止、受験者が不正を疑われた際の証明方法の確立などの様々な課題があります。

当社は、これらの課題をいち早く解決するとともに、試験問題の作成や試験結果の分析が柔軟かつ効率的に行えるオンライン試験の仕組みを提供するため、オンライン試験で先行する欧米で多くの実績があるオンライン自動試験監督システムの有用性を確認する実証研究を、慶應義塾大学医学部医学教育統轄センターの協力のもと実施しました。

実証研究の概要

  1. 実施期間:
    2021年2月5日(金曜日)から3月5日(金曜日)まで
  2. 場所:
    慶應義塾大学医学部医学教育統轄センター

内容:
当社は、慶應義塾大学医学部医学教育統轄センターのセンター長でオンライン教育開発リーダーを務める慶應義塾大学医学部 門川 俊明教授の協力のもと、オンライン試験作成・配信システム「Questionmark OnDemand」を用いて、オンライン試験問題を作成の上、仮試験当日に試験を配信しました。あわせて、自宅などからオンラインで試験を受験する被験者の学生の様子を、顔の有無や向きの検出などが可能なAIを活用したProctorio社のオンライン自動試験監督システム「Automated Proctoring Solution」により、記録、解析することで、不審行為の有無を確認し、それらの有用性を検証しました。それぞれの実証研究内容と効果は、以下の通りです。

図1. 実証研究のイメージ
図1. 実証研究のイメージ

(1) Proctorio社のオンライン試験自動監督システム「Automated Proctoring Solution」の実証研究と確認した効果
実証研究概要

替え玉受験防止のために、試験開始前にオンライン画面上で身分証と受験者本人の写真を撮影した後、Webカメラで常時オンライン試験中の受験者を記録し、受験者のPCデスクトップ画面やPCが認識する音も記録します。また記録中に顔検出などのAIを使って、カンニング行為として疑われる可能性が高い不審行為として、受験者が試験画面以外の方向を向くことや音声を発すること、スマートフォンなどの使用や受験者以外の人物の顔が映ることなどを自動検知し記録します。

検知結果は受験者一人ずつレポート形式にまとめられ、不審行為があった時間帯は不正の疑惑レベルに応じて赤色や黄色でアラート表示されます。試験後、試験管理者は、アラート表示部分の画像や音声、PCデスクトップ画面の記録を確認することで、実際に行われた動作が不正行為に該当するものか否かを判断することができます。

効果
  • 被験者の学生が試験中にとった、横や下など他の方向を見る、画面から消えるなどの不審な行動全てを顔検出などのAIを使って自動検知でき、正常な行動と判別できることを確認しました。
  • 試験中の様子を記録される受験者の不安を軽減し、システムの理解促進につなげるために、事前に自動不正検知結果の活用方法の説明を十分に行い、不審行為を疑われる動作の例を明確に示す必要性があることを確認しました。

図2. 自動不正検知システムの結果レポートのイメージ画面
図2. 自動不正検知システムの結果レポートのイメージ画面

(2) オンライン試験作成・配信システム「Questionmark OnDemand」の実証研究と確認した効果
実証研究概要

オンライン試験に特化したシステムで、問題に動画や画像を組み込むなど、オンラインの特性を活かし、20種類以上もの多様な形式の問題を作成できます。また、一度作成した試験を、設問単位で保管、管理できるため、既存の問題を組み合わせて効率よく新しい試験を作成できます。

効果

対象者全員が自宅などからアクセスして受験し、混乱なく解答を完了できました。また、自動採点により試験終了後すぐに採点結果を集計でき、かつ教員が行う場合一般的に約20分要する採点時間(10問×10秒×11名)を数分に短縮することができ、採点業務を効率化できることを確認しました。

今後

当社は、本実証研究を踏まえ、オンライン上で効果的かつ安心して受験できる試験環境の実現に向けて新たなエドテックサービスを開発し、大学や専門学校などの教育機関、および企業における人材開発や採用、昇格アセスメント、また研修、アセスメントを行う事業者に向けて2021年度より提供予定です。当社は、今後、エドテックサービスの提供を通じて、教育分野のDXを推進し、学校や教育機関、企業におけるニューノーマル時代の新たな学びに貢献していきます。

商標について

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

注釈

注1
慶應義塾大学医学部医学教育統轄センター:
所在地 東京都新宿区、センター長 門川 俊明 教授

注2
Proctorio Inc,:
本社 米国アリゾナ州スコッツデール、CEO & Founder Mike Olsen

注3
Questionmark Computing Limited:
本社 英国ロンドン、CEO Dr.Lars Pedersen

本件に関するお問い合わせ

富士通コンタクトライン(総合窓口)

 

タイトルとURLをコピーしました