製品の検査工数を25%削減して、製造現場の働き方改革を加速
2021-03-29 株式会社富士通研究所
株式会社富士通研究所（注1）（以下、富士通研究所）は、製造ラインの検査工程で不良品と判断された製品の異常についての画像を教師データとして準備しなくても、人工的に異常を付加した製品の画像を生成しながらAIモデルを学習させることにより、キズや加工ミスといった外観の多種多様な異常を高精度に検出する画像検査AI技術を開発しました。
本技術は、例えば、毛並みや色味の異なるカーペットや、配線の形状が部位によって異なるプリント基板のように、正常な外観であっても個体ごとに様々なバリエーションがある製品において、糸のほつれや配線パターンの不良といった異常箇所を正しく検出することが可能です。また、本技術は、様々な工業製品の外観画像を集めた公開データ（注2）を使ったベンチマークで、異常を検出するAIモデルの性能を測定する指標であるAUROC（注3）において世界最高レベル（注4）の98%を達成しました。
本技術の有効性を電子関連機器の製造工場である富士通インターコネクトテクノロジーズ株式会社（注5）長野工場の検査工程において検証したところ、プリント基板の検査工数を25%削減できる効果を確認しました。これにより、製造工場における作業員の負荷軽減や生産性の向上を実現し、現場業務の働き方改革を支援します。
開発の背景
近年、製造業の現場では、多様化する顧客ニーズに伴い、多品種少量生産や製品の高機能化が進み、さらなる作業効率の向上と高度な品質管理の対応が求められています。
特に、製造ラインでの検査工程においては、検査員が目視や監視カメラの画像からキズや加工ミスがないかを人手で検出していますが、これらの作業の効率化に向けてAIの導入が進んでいます。しかし、現場で発生する異常は、多種多様で頻度も稀であるため、高精度かつ効率的に異常を検出できるAIの開発が求められています。
課題
検査工程の現場では、検査員が大まかな形状や細部の構造、質感などの特徴を基に、良品か不良品かを判断しています。例えば、形状のひずみ検査では大まかな形状を、状態や柄の検査では質感を重要視します。さらに、正常な外観であっても、毛並みや色見、配線の形状など個体ごとに様々なバリエーションがある場合には、個体ごとにこれらの特徴を捉えた上で組み合わせて、品質に問題がない範囲の個体差か、または異常かを区別しながら検査を行います。そのため、AIの学習においては、正常画像の中でも個体ごとに生じる多種多様な特徴を捉えられるようにする必要があります。しかし、それぞれの特徴を重み付けして合算した指標を使った一般的な学習方法では、一つの特徴に偏った学習が進み、すべての特徴を十分に捉えることが困難でした。
開発した技術
本技術では、検査対象の画像に異常がある場合に、AIが異常を取り除いた正常画像を復元し、検査対象の画像と復元した正常画像との差分を捉えることで異常箇所の検出を行います。今回、学習用に用意した正常画像に、形や大きさ、色などの多種多様な異常を人工的に付加した画像を生成しながら、異常を取り除いた正常画像を復元できるようにAIモデルを学習させる方法を開発し、正常画像を復元する性能が高まったことで、異常を含んだ画像を教師データとして準備しなくても、異常箇所を高精度に検出できるようになりました。学習の際には、正常画像とAIが復元した画像とを比較して、大まかな形状や細部の構造、質感など各特徴の学習度を評価し、AIが捉えられていない特徴を優先して学習するように、付加する異常の大きさ、色、個数を制御します。例えば、AIが大まかな形状を正しく復元できていない場合に、正常な外観に影響しない小さな異常を少量発生させた異常画像を多く学習させます。また、細部や質感が少しだけ異なる場合には、細部が隠れるほどの大きい異常や目立つ模様を付加した異常画像を多く学習させます。このように、AIの復元状況を評価しながらAIが特徴を復元できない弱い部分を多く学習させることで、すべての特徴を捉えた正常画像を復元できるようになりました。
さらに、5000種類以上の人工物を撮影した画像のライブラリから、形、大きさ、色が様々な素材を生成し、異常の個数や付加する位置を確率的に変えて異常を付加する技術も新たに開発し、製造現場で発生する多種多様な異常箇所の検出を可能としました。
図1 開発技術の概要
効果
今回開発した技術を、様々な工業製品の外観画像を集めた公開データを使って異常の検出を行う標準的なベンチマークを実施したところ、個体ごとに毛並みや色味の異なるカーペットや、配線の形状が部位によって異なるプリント基板のように、正常な外観にバリエーションがある製品のクラスにおいて、異常を検出するモデルの性能を測定する指標であるAUROCにおいて、世界最高レベルの98%を達成しました。また、ねじやナットなど個体ごとのバリエーションが無く、良品が同一の外観を持つ製品において従来技術（注6）と同等の精度を維持しています。
本技術の有効性を、電子関連機器の製造工場である富士通インターコネクトテクノロジーズの長野工場の検査工程において検証したところ、プリント基板の検査工数を25%削減できる効果を確認しました。
図2 従来技術との比較
今後
今後、本技術で検出した異常を種類や検出箇所に応じて分類する技術を、富士通株式会社（注7）のAI技術「FUJITSU Human Centric AI Zinrai」を支える技術としてさらに開発をすすめるとともに、製造業のDXを支援するものづくり事業ブランド「COLMINA（コルミナ）」への製品適用を目指します。
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
注釈
注1
株式会社富士通研究所：
本社 神奈川県川崎市、代表取締役社長 原 裕貴。
注2
様々な工業製品の外観画像を集めた公開データ：
MVTec社が提供するデータセット MVTec Anomaly Detection Dataset。
注3
AUROC：
Area Under the ROC Curveの略。異常を検出するモデルの性能の良さを表す指標。百分率で最大100%までの値を取り、指標が大きいほど、モデルが良い性能であることを表す。
注4
世界最高レベル：
正常な外観にバリエーションがある対象のクラスにおいて、MVTec ADを用いた異常検出技術のベンチマークランキングに掲載されている技術とSEGMENTATION AUROCで比較。2021年3月29日現在、当社調べ。
注5
富士通インターコネクトテクノロジーズ株式会社：
本社 長野県長野市、代表取締役社長 三好 清司。
注6
従来技術：
MVTec ADを用いた異常検出技術のベンチマークランキングに掲載されている技術。
注7
富士通株式会社：
本社 東京都港区、代表取締役社長 時田 隆仁。
本件に関するお問い合わせ
株式会社富士通研究所
デジタル革新コア・ユニット
