2022-11-02 ノースカロライナ州立大学(NCState)
Photo credit: Christopher Gower.
ディープラーニングのモデルは、多くの場合、動作に多くのコンピューティングリソースを必要とする。このため、ディープラーニングモデルを一部のアプリケーションで実用化する際には、課題が生じる。
彼らの新しい論文で、研究者達は、ネットワーク刈り込みが、特定のグループ-文献では「少数派」と呼ばれている-を識別する際のモデルの性能に悪影響を及ぼす理由を整理し、これらの課題に対処するための新しい技術を実証している。
ネットワーク・プルーニングが深層学習モデルの性能を損なう理由は、2つの要因にある。
技術用語では、この2つの要因は、グループ間の勾配規範の格差、および、グループのデータの不正確さに関連するヘシアン規範の格差である。実用的には、深層学習モデルは、画像、音声、テキストの特定のカテゴリを認識する精度が低くなる可能性があることを意味する。具体的には、ネットワークの刈り込みは、モデルに既に存在する精度の欠陥を増幅する可能性がある。
この問題を軽減するために、ディープラーニングモデルがデータサンプルを分類するために使用しているグループを数学的手法で均等化するアプローチを実証した。
テストにおいて、研究者たちは、彼らの緩和技術を使用することで、ネットワークの刈り込みを受けた深層学習モデルの公平性を改善し、本質的に刈り込み前の精度のレベルに戻すことを実証した。
＜関連情報＞
プルーニングはモデルの精度にばらつきがある
Pruning has a disparate impact on model accuracy
Cuong Tran, Ferdinando Fioretto, Jung-Eun Kim, Rakshit Naidu
arXiv last revised :12 Oct 2022
DOI:https://doi.org/10.48550/arXiv.2205.13574
Network pruning is a widely-used compression technique that is able to significantly scale down overparameterized models with minimal loss of accuracy. This paper shows that pruning may create or exacerbate disparate impacts. The paper sheds light on the factors to cause such disparities, suggesting differences in gradient norms and distance to decision boundary across groups to be responsible for this critical issue. It analyzes these factors in detail, providing both theoretical and empirical support, and proposes a simple, yet effective, solution that mitigates the disparate impacts caused by pruning.
