深層学習モデルCosmoFlowの単位時間あたりの学習で世界最高速度を達成
2021-11-18 富士通株式会社,理化学研究所
国立研究開発法人理化学研究所（注1）（以下、理研）と富士通株式会社（注2）（以下、富士通）が、スーパーコンピュータ規模の処理を必要とする大規模機械学習処理のベンチマーク「MLPerf HPC」の一つである「CosmoFlow（注3）」において、スーパーコンピュータ「富岳」の約半分の規模（注4）を用いて計測した結果、世界最高速度を達成し第1位を獲得しました。
「MLPerf HPC」は、単位時間あたりに深層学習モデルをいくつ学習できるか（スループット性能）を測定（注5）するもので、「富岳」の並列処理性能をさらに引き出すソフトウェア技術により、他システムの性能と比較し約1.77倍の処理速度を達成し、機械学習を利用した大規模な科学技術計算の分野において世界最高レベルの性能を有していることが示されました。
今回の結果は、現在開催中のHPC（ハイパフォーマンス・コンピューティング：高性能計算技術）に関する国際学会「SC21」において、11月17日付（日本時間11月18日）でMLPerf HPC v1.0として発表されました。
「MLPerf HPC」は、宇宙の発展や構造の研究で用いる指標の一つである宇宙論的パラメータを予測する「CosmoFlow」と、異常気象現象を特定する「DeepCAM（注6）」、触媒表面での分子の反応の様子を推定する「Open Catalyst（注7）」の三つのベンチマーク・プログラムのそれぞれにおいて性能を競うものです。このうち「CosmoFlow」に対し、「富岳」の約半分の規模を用いて、複数の深層学習モデルを一定の予測精度まで学習させ、はじめに学習を開始したモデルの開始時刻から最後に学習を終えたモデルの終了時刻までを計測しスループット性能を評価しました。今回、「富岳」の並列処理性能をさらに引き出すため、複数の学習モデルを並行して処理する際に発生するCPU同士の通信の相互干渉を減らし、さらに、CPUとストレージ間でのデータの通信量を最適化する技術を「富岳」上のプログラムに適用しました。その結果、深層学習モデルを8時間16分で637個、1分あたりでは約1.29個を学習しました。
この結果は、「CosmoFlow」の同カテゴリに登録した全システムの計測値の中で第1位となり、他システムの性能と比較し約1.77倍の性能差をつけたことになります。これにより、「富岳」が機械学習を利用した大規模な科学技術計算の分野において世界最高レベルの性能を有していることが示されました。
理研と富士通は、今後、今回の計測にあたり開発した大規模機械学習処理を高速化するライブラリやAIフレームワークといったソフトウェアスタックを一般公開します。スーパーコンピュータを用いた大規模機械学習処理の知見を広く共有することで、シミュレーション結果の解析による、宇宙物理学をはじめとする科学技術上の新たな発見へつながることが期待できます。また、機械翻訳サービスなどで活用されている自然言語処理モデルのような他の大規模機械学習計算にも応用することで技術革新を加速し、社会的・科学的課題の解決に貢献します。
MLPerf HPCについて
「MLPerf HPC」は、機械学習アプリケーションを実行するシステムの性能リストを作成することを目的に、膨大な時間を要する大規模機械学習計算をスーパーコンピュータで行った際のシステム性能を評価するため、機械学習ベンチマークを実施するコミュニティである「MLCommons」によって2020年に策定された機械学習ベンチマークです。「MLPerf HPC」は、世界各国のスーパーコンピュータで利用されており、新たな業界標準として期待されています。
今回の「MLPerf HPC」はv1.0として、スーパーコンピュータを利用しなければならない大規模の機械学習性能を測定することを目的として、「CosmoFlow」、「DeepCAM」、「Open Catalyst」の3つのアプリケーションで性能評価が実施されました。また、今回から単位時間あたりの深層学習モデルの学習数を測定するベンチマークが新設されました。
すべての計測データは下記サイトにて公開されています。
関連リンク： https://mlcommons.org/
商標について
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
注釈
注1 理化学研究所：
本部 埼玉県和光市、理事長 松本紘。
注2 富士通株式会社：
本社 東京都港区、代表取締役社長 時田 隆仁。
注3 CosmoFlow：
宇宙空間に分布する暗黒物質の3次元シミュレーション結果から、宇宙論的パラメータを予測する深層学習モデルです。
注4 スーパーコンピュータ「富岳」の約半分の規模：
今回の計測は「富岳」の運用中に行ったため、「富岳」を利用している他の研究への影響を考慮し計測規模を半分としました。
注5 単位時間あたりに深層学習モデルをいくつ学習できるか（スループット性能）を測定：
今回から「MLPerf」に新設された計測方法。複数のモデルを同時学習させることでスーパーコンピュータの全性能を引き出し、単位時間当たりに学習できるモデル数を計測することにより、スーパーコンピュータのシステム全体での性能比較が可能となります。
注6 DeepCAM：
地球規模の気候予測シミュレーションデータから、異常気象現象を特定する深層学習モデルです。
注7 Open Catalyst：
原子・分子間反応のシミュレーションデータから、触媒表面での分子の緩和エネルギーを推定する深層学習モデルです。
本件に関するお問い合わせ
富士通株式会社
富士通コンタクトライン（総合窓口）
理化学研究所
お問い合わせフォーム
