マスク着用での本人確認も可能で安全・安心な実店舗での決済を実現
2021-01-21 株式会社富士通研究所
株式会社富士通研究所（注1）（以下、富士通研究所）は、顔情報で照合対象者を絞りこみ、手のひら静脈で本人を特定する非接触な生体認証を融合させたマルチ生体認証において、マスクを着用していても、マスク着用なしと同等レベルの99%以上の高精度で本人特定が可能な認証技術を新たに開発しました。
一般的な顔情報を用いた絞り込み技術では、マスク着用時に顔の大部分が隠れるために認証されないケースが数％程度ありましたが、本技術では、利用する顔画像にマスクを合成した顔画像を生成して学習させ、マスクの有無による見え方の差異を吸収することができ、マスク着用なしと同等レベルの99%以上の絞り込み精度が可能となります。また、手のひら静脈認証センサーにおいても、認証に適した高さに手のひらの位置をスムーズに調整できるようユーザーインターフェースを改善し、使い勝手を向上しました。なお、本技術は、米国国立標準技術研究所（以下、NIST）にて実施された顔認証ベンダーテストにおいて、グローバルベンダーで6位、国内ベンダーで首位（注2）を獲得しました。
本技術により、生体認証を活用した実店舗において、利用者はマスクの着脱動作なしに従来の高い認証精度での本人認証を行うことができ、スムーズな決済処理を実現します。
開発の背景
近年、実店舗での決済処理やイベント会場での本人確認など、利用者の真正性を担保する目的で、生体認証の活用が進んでいます。また、新型コロナウイルス感染症の拡大防止の観点から、人との接触を避ける3密（密集・密閉・密接）の徹底に加えて、顔認証や手のひら静脈認証など、センサー部分に直接触れることなく非接触で本人確認ができるユーザーインターフェースの導入も加速しています。
当社は、業界トップレベルの認証精度を誇る手のひら静脈認証をキーテクノロジーとして、手のひら静脈と顔情報を組み合わせたマルチ生体認証（図1）の実証の場として、富士通株式会社（注3）の事業所である富士通新川崎テクノロジースクエア内のレジなし店舗にて2020年3月より実証実験（注4）を行っています。今回、開発した技術を本店舗に適用することで、その有用性を検証します。
図1 実証中のマルチ生体認証技術の概要
課題
近年の新型コロナウイルス感染拡大防止対策のため、マスクの着用がエチケットとして常態化していますが、一般にマスク着用のままで顔認証を行う場合、顔の大部分が隠れてしまうため、顔情報での絞り込みの精度が低下することがありました。そのため、実証店舗のマルチ生体認証では、手のひら静脈を組み合わせることで精度向上を図っていました。しかし、利用者によって、マスク着用のままでは顔情報による絞り込みで本人が特定できず失敗するケースがあり、一時的にマスクを外してもらうなどの対応が必要となっていました。また、今後、実店舗での一般利用者への展開を見据えた場合に、店員からの操作手順の説明を不要とし、利用者自身で登録や認証ができるよう、マルチ生体認証そのもののユーザーインターフェースを、より使いやすく向上させ、生体情報を飛躍的に入力し易くする操作性を実現する必要があります。
開発した技術
今回、マスクを着用した顔でも高精度な絞り込みができるデータ拡張学習技術を開発しました。
開発した技術の特長は以下の通りです。
一般的な顔認証技術では、マスクを着用した顔から絞り込みに有用な顔部位の形や位置関係などの特徴量を抽出するために、露出している目の領域のみを利用する方式を採用していました。本方式は、マスク着用の有無の影響を低減できる一方で、顔全体の特徴量が抽出できないため、情報量の低下により本人が認識されないという問題がありました。
開発した技術では、マスクを着用しても輪郭の形状など顔全体の特徴量抽出を考慮しつつ、マスク着用の影響を低減するために、マスク非着用の顔画像にマスクを付加した画像を生成し学習させることで、マスク着用時でもマスク非着用時と同等レベルの精度で絞り込みが可能となり、同一人物として認識することができます。具体的には、目や鼻の位置など顔の特徴点から顔の姿勢を推定し、その推定結果に基づいて疑似マスクをリサイズ、変形させて顔画像に重ねることで自然なマスク着用顔画像を生成します。さらに、様々な色や柄、形のマスクが流通している状況に対応するため、様々なタイプのマスクを付加しました（図2）。これによって、マスクを外すことなく認証でき、マルチ認証が衛生的かつさらに使いやすくなりました。
本技術は、NISTにて実施された顔認証ベンダーテストで、マスク着用顔画像を模した評価データセットにおいて国内ベンダー首位の高精度を達成しました。
図2 マスクを顔画像に付加
ユーザーインターフェースの改善
手のひら静脈認証を行う際に、利用者がスムーズに認証を行えるよう手のひら静脈認証センサーのユーザーインターフェースを改善しました。手のひら静脈センサーの周囲に手のひらの形をしたライトを設け、手のひらをかざす高さに応じてライトの色と発光パターンを変化させることで、手のひら静脈認証に適切な高さを知らせます（図3）。これにより、手のひら静脈認証に慣れていない人でも、手のひらを適切な高さに調整でき、非接触かつスムーズな認証を行うことができます（図4）。
図3 手のひら静脈認証センサーの光ユーザーインターフェースによる認証イメージ
マルチ生体認証の操作イメージ
効果
今回開発した技術とユーザーインターフェースの活用により、利用者自身で容易に認証することが可能となり、生体認証を取り入れた実店舗での決済やレジャー施設での本人確認など、様々なシーンにおいて、感染症の感染拡大を防止しながら、より安全・安心なサービスを実現します。
今後
当社は、さらなるユーザーインターフェース評価などを踏まえて、株式会社ローソン（注5）様と共同で取り組んでいる新川崎テクノロジースクエア内のレジなし店舗で実証中のシステム（注6）に本技術を適用し、2021年1月21日より実証実験を進め、2021年度中の実用化を目指します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
関連資料
- 説明資料：非接触でクリーンなマルチ生体認証技術を開発 （4.24MB / 17ページ）
注釈
注1株式会社富士通研究所：
本社 神奈川県川崎市、代表取締役社長 原 裕貴。
注2米国国立標準技術研究所にて実施された顔認証ベンダーテスト：
Face Recognition Vendor Test;において、参加147社のうち6位。国内ベンダー首位（2020年11月時点）。
FRVT Face Mask Effects
注3富士通株式会社：
本社 東京都港区、代表取締役社長 時田 隆仁。
注4レジなし店舗にて2020年3月より実証実験：
富士通、事業所内のローソンレジなし実験店舗でマルチ生体認証技術を世界初導入（2020年2月18日プレスリリース）
注5株式会社ローソン：
本社 東京都品川区、代表取締役社長 竹増 貞信。
注6レジなし店舗で実証中のシステム：
米国VCOGNITION TECHNOLOGIES, INCの提供するシステム「Zippin」。自動決済に必要なカメラ・重量センサーなどの機器と、来店客や商品を認識するためのAI 機能、決済や在庫管理との連携機能をまとめた統合システム。
本件に関するお問い合わせ
株式会社富士通研究所
デジタル革新コア・ユニット
電話：044-754-2670（直通）
E-mail：clean-multi-bio-2021@ml.labs.fujitsu.com
プレスリリースに記載された製品の価格、仕様、サービス内容などは発表日現在のものです。その後予告なしに変更されることがあります。あらかじめご了承ください。
