計算の厳密性を自動調整しAI処理を最大10倍高速化するコンピューティング技術を開発

2019-10-25

2019-10-25　株式会社富士通研究所

株式会社富士通研究所（注1）（以下、富士通研究所）は、AI技術の進化と普及に伴い増大している計算需要に対し、演算精度を自動的に制御し高速化する技術「Content-Aware Computing（コンテンツアウェアコンピューティング）」を開発しました。

従来は、AI処理の高速化を図るために、専門家が演算精度の切り替えの箇所などを、データや実行環境ごとに調整する必要がありました。今回の技術により、学習の度合いに合わせ最適な演算精度を自動制御し高速化するほか、クラウドなど並列環境における一部ノードの計算の遅れを回避し、実行時間にばらつきのある並列環境でも演算速度を安定化させることができます。

この技術をディープラーニングに適用することで、計算能力を最大10倍高速化させることができ、今後さらに増大するAI活用のニーズに対応します。

開発の背景

AI技術の進化と普及に伴って、画像認識や音声翻訳などへ活用が広がり、それを実現するためのAI処理の計算量が爆発的に増大しており、AI用途に開発されたGPUや専用プロセッサーなどが利用されてきています。また、クラウド環境からエッジコンピューティングまで用途に合わせて様々な環境でAI計算が行われてきています。今後さらに増大するAIの計算量に対し、高速に処理できる技術が必要です。

課題

GPUや専用プロセッサーにより計算性能は向上していますが、AIの計算需要には追いついておらず、さらなる高速化手法として、計算の厳密性を捨てて高速化する技術が注目されています。例えば、ディープラーニングのアルゴリズムであるニューラルネットワークの計算において、32ビットの演算精度を8ビットに落として4倍に並列演算をさせることで高速化を実現する方法がありますが、一律に演算精度を落とすと演算結果も劣化します。そのため、演算精度の調整は、どの箇所の演算精度を落とし、どの箇所の演算精度を落とさないかを、専門家が試行錯誤することで決めていました。しかし、この方法では調整に時間を要し、さらに、入力データや実行環境が変わると調整をやり直す必要がありました。

開発した技術

今回、演算精度を自動的に制御し高速化する技術「Content-Aware Computing」を開発しました。これにより、GPU・CPU・クラウド・エッジといった多様な実行環境でも、AI処理の高速実行が可能になります。本技術の特長は以下のとおりです。

データに合わせてビット数を自動的に削減する技術
一般にニューラルネットワークでは、学習が進むと各層の数値範囲が似かよった数値に収束していく性質があります。この性質を利用し、計算中のニューラルネットワークにおける各層の数値範囲の分布にもとづいて、分布が広い層では高ビット、分布が収束してきた層で低ビットといったように学習の状況に応じて演算精度の適用度合いを判断します（図1）。これにより、演算結果の劣化を抑えつつ、ディープラーニングに適用した場合、従来の3倍まで高速化できます。

図1. 学習の進捗に合わせた低ビット化による高速化
ばらつきのある並列環境で高速実行を可能にする同期緩和技術
クラウド環境など多数のノードで演算する場合やCPUを多数のアプリケーションで共用する環境の場合、通信の競合や割り込み処理などにより、一部のノードでのレスポンスが大幅に遅れる場合があります。これに対し、並列処理の各演算において、処理を打ち切った場合の処理時間の削減量と、演算結果への影響度を予測し、演算結果を劣化させない範囲で、処理時間を最大限に削減できるように、各演算の打ち切り時間を制御します。これにより、並列計算の高速実行が可能になり、ディープラーニングの処理においては最大で3.7倍の高速化を確認できました。

効果

今回開発した技術「Content-Aware Computing」を活用することで、AI処理を最大で10倍まで高速化できます。本技術をAIフレームワークやライブラリに組み込むことで、低ビット演算機能が組み込まれたGPUやCPU、それらを用いたクラウドやデータセンターでのAI処理を自動的に高速化することが可能となります。