物体認識モデルがショートカットを使用していることを検出するストレステスト法(Stress Test Method Detects When Object Recognition Models are Using Shortcuts)

ad

2023-07-17 ジョージア工科大学

◆ジョージア工科大学の研究者が開発した新しい「ストレステスト」手法、LANCE(Language-Guided Counterfactuals)により、視覚認識モデルが文脈の手がかりに過度に依存する傾向が明らかになりました。これにより、モデルの信頼性と弱点を事前に判定できるようになります。
◆LANCEは特にImageNetでトレーニングされたモデルに適用され、画像内の文脈を誤って利用しているケースが多く見つかりました。この手法は、自動運転車などのコンピュータビジョン技術にも応用でき、高リスクなアプリケーションでのモデルの欠陥を発見することに役立ちます。

<関連情報>

LANCE:言語誘導型反事実画像の生成による視覚モデルのストレステスト
LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

Viraj Prabhu, Sriram Yenamandra, Prithvijit Chattopadhyay, Judy Hoffman
arXiv  Submitted on :30 May 2023
DOI:https://doi.org/10.48550/arXiv.2305.19164

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pretrained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet.

1602ソフトウェア工学
ad
ad
Follow
ad
タイトルとURLをコピーしました