スーパーコンピュータ「富岳」を利用した史上最大規模の気象計算を実現

2020-11-202021-09-18

スパコン×シミュレーション×データ科学の協働が切り開く未来の気象予報

スパコン×シミュレーション×データ科学の協働が切り開く未来の気象予報

2020-11-20 国立環境研究所,理化学研究所,富士通株式会社,株式会社メトロ,東京大学大気海洋研究所

国立研究開発法人国立環境研究所、国立研究開発法人理化学研究所、富士通株式会社、株式会社メトロ、国立大学法人東京大学の研究グループは、神戸市の理化学研究所計算科学研究センターに設置されたスーパーコンピュータ「富岳」を用いて、水平3.5kmメッシュかつ1024個のアンサンブルという、過去に例を見ないほど大規模な全球気象シミュレーションとデータ同化の複合計算を実現しました。本研究が行った計算の規模は、世界の気象機関が日々行っている気象予測のためのアンサンブルデータ同化計算と比較して、およそ500倍の大きさのものです。この成果は「富岳」の高い総合性能を実証し、最新のスーパーコンピュータとシミュレーションモデル、そしてデータ同化システムが互いに協調しながら開発を進めることによって、今よりも更に大規模な気象予報システムが実現可能であることを指し示しました。これにより、将来の気象予報・気候変動予測の精度向上に繋がることが期待されます。
本研究は、計算科学において最も栄誉ある賞のひとつであるゴードン・ベル賞のファイナリストに選出され、2020年11月9日から19日の日程でオンライン開催されたスーパーコンピュータの国際学会SC20において内容に関する講演が行われました。ゴードン・ベル賞は国際的な計算機科学の学会であるACMとIEEE Computer Societyが共同で主催し、その年において、高性能並列計算を科学技術分野へ適用することに関してイノベーションの功績が最も顕著な研究に与えられます。

１．研究の背景

気象情報は日々の我々の生活に欠かせない情報です。毎年のように集中豪雨や台風の被害が国内外で報告されており、それら気象災害から私たちの命と財産を守るために、より精度の高い気象予測が求められています。現在の気象予測は、世界中で毎時刻行われている気象観測の情報と、コンピュータを用いた数値シミュレーション、そして観測データとシミュレーションを数学的な手法を用いて繋ぎ合わせるデータ同化によって支えられています。さらなる気象予測の精度向上のために、観測データの利用効率を上げ、よりメッシュの細かい数値シミュレーションを実行し、より多くのアンサンブル計算を行う必要がありますが、そのどれもがより多くの計算を必要とするため、限られた計算機資源の制約の中で可能な計算が行われてきました。計算だけでなく、シミュレーションが出力するデータサイズも爆発的に大きくなるため、それらのデータの転送を現実的な時間内に終わらせることについても、これまでは限界がありました。
日本の新たなフラッグシップマシンであるスーパーコンピュータ「富岳」（図１）は、スーパーコンピュータ「京」の後継機として2014年より設計開発が開始され、2020 年6月と11月に様々な計算性能を競う世界ランキングの4つの部門で1位を獲得しました。しかし「富岳」が目指してきた真の目標は、単純なベンチマーク性能だけではなく、さまざまな研究分野で実際に使われているプログラムを高速に実行し、「京」と比較して最大100倍のアプリケーション実効性能を実現することです。この目標の達成のために、スーパーコンピュータシステム（スパコン）と科学計算ソフトウェアとの間の協調設計（コデザイン）が進められてきました。スパコンの技術トレンドは目まぐるしく変化しており、新しいスパコンという理由だけではソフトウェアの実行速度は速くならず、遅くなることすらあります。本研究で用いた全球高解像度大気モデルNICAMと局所アンサンブル変換カルマンフィルタLETKFは、コデザインを進めるために選出された代表アプリケーション群の一部です。我々の研究グループはこれらのアプリケーションを題材に、どのようなアルゴリズム、計算最適化を選択すれば、最新のスパコンの性能を引き出すことが可能であるかについて研究開発を行ってきました。
本研究は、これらのコデザインの成果の集大成として、「富岳」を用いて実行可能な最大規模の、高解像度・大アンサンブルデータ同化実験を実施した結果によるものです。

図１. スーパーコンピュータ「富岳」

２．大規模実験を実現するための様々な取り組み

アンサンブルデータ同化では、少しずつ計算結果の異なる複数のシミュレーション（アンサンブル）を実行し、それらの結果と実際の観測データとつきあわせ、シミュレーションの軌道を修正して「確からしさ」を高めることが行われています。これにより、より現実の大気に近い状態からの気象予測を可能にします。本研究では、現在気象庁等が行っている計算から30倍以上多い1024個のアンサンブル計算を行いました。アンサンブル数の増加によって、効果的に観測データの情報を活用することができるようになり、実際の天気予報の精度向上が期待できます。図２に、計算の流れとそれぞれの計算で行なわれるデータの入出力量を示します。まず先に、256個ずつのシミュレーション計算を実行し、これを4回繰り返すことで、1024個のアンサンブル結果を得ます。それぞれの計算は異なる初期値を元に計算され、出力されるデータはのべ1.4ペタバイト、ファイル数は100万個に達します。次に続くデータ同化パートでは、出力されたデータを一気に読み込み、解析を行いました。このデータの読み書きと、シミュレーションパートとデータ同化パートで大がかりなデータの持ち替えを行なわなければいけない点が、全体の計算時間に大きな影響を与えます。

図2. NICAM-LETKFデータ同化システムの実行の流れとデータの移動量

本研究ではまず、全く別々に開発されたプログラムである大気シミュレーションモデルNICAMとLETKFデータ同化システムの間のコデザインを行いました。なるべく同時にたくさんのファイルを、それぞれの計算機の近くにある高速なディスク（SSD）を使って読み書きすることを徹底し、データの持ち替えに伴う移動も最小限になるように改良しました。これにより、たくさんの計算機を同時に利用する場合にも、ファイルの読み書きにかかる時間を劇的に削減することに成功しました。次に取り組んだのが、実数の桁数を減らした計算です。コンピュータの中では数字を二進数で表しており、有効数字の桁数が多い実数を表現するには、より多くの0と1の並びを準備しなければいけません。この実数の精度を落とし桁数を減らすことによって、移動するべきデータのサイズを減らし、また計算機が一回の命令で処理するデータの数を増やすことが出来ます。一方で、精度を落とした計算ではシミュレーションの結果が劣化するため、我々は理想化した実験等を用いて結果を劣化させる恐れのある計算区間を検証しました。これもまた、科学的な性能の要請と計算速度性能の要請の間のコデザインといえます。
システムとアプリケーションのコデザインでは、コンパイラと呼ばれるプログラムコードを機械語に翻訳するシステムソフトウェアの改良を富士通と共同で進め、一部の計算高速化が自動で適用されるようにしました。また、我々が「家計簿法」と名付けた、数十万行あるプログラムコードの中に潜むたくさんの小さな「無駄な時間消費」を効率よく見つけ出す手法や、我々の用途に合わせた数値計算ライブラリの改良を進めました。これらの研究開発によって得られたソフトウェアと知見は、他の多くのソフトウェアにも適用可能なものです。

３．研究の結果

計算結果の一例として、データ同化部分の計算時間についてまとめたものを図３に示します。横軸がアンサンブルメンバーの数、縦軸が経過時間で、点線が倍精度（８バイト）実数、実線が大部分を単精度（４バイト）実数で計算した結果です。各色はシミュレーションモデルの水平解像度を56kｍ, 14km, 3.5kmと変えて行った結果を示しています。図より、アンサンブル数を増やすと計算にかかる時間が増加していくことがわかりますが、その内訳として、ファイル入出力にかかる時間はほとんど増えませんでした。また、単精度実数を用いた計算は倍精度実数を用いた計算よりも高速で、かつアンサンブル数の増大に伴う計算時間の増加を小さく抑えられることがわかりました。シミュレーションパートにおいても単精度を用いた計算では、実行速度を倍精度実数を用いた計算より1.6倍高速化することに成功しました。最大規模の計算である3.5kmメッシュ・1024メンバーの計算では、「富岳」の総計算ノード数の82%である131,072ノード（6,291,456個の計算コア）を利用して、シミュレーション部分では29ペタフロップス、データ同化部分では79ペタフロップスの計算性能を得ました。一連の計算全体は４時間弱で終わらせることができる見積もりです。
本研究の結果は、「富岳」のような演算性能とデータ転送性能のバランスの取れたスパコンを用いることで、単純な流体計算だけでは済まない、気象予報システムのような複雑なソフトウェアの計算を大規模化・高速化することが可能であるということを示しています。単純な四則演算の速度にとどまらない、「富岳」の性能の地力を反映したものであり、今後の様々な科学分野での成果が期待されます。計算気象学の分野においては、本計算結果は大きな達成点の一つであり、将来、今よりも更に精度の高い気象予報を提供するための道筋が付けられたといえます。データ同化は気象予報だけでなく、シミュレーションモデルそのものの性能改善や、温室効果ガスや大気汚染物質の吸収・排出量の推定にも用いられる手法です。今後、本研究によって革新的な改良が施されたプログラムの用途をさらに拡げ、気象・気候・地球環境の研究に活用していく予定です。

図３. データ同化部分の計算時間の結果

4．研究助成

本研究は、文部科学省スーパーコンピュータ「富岳」成果創出加速プログラム「防災・減災に資する新時代の大アンサンブル気象・大気環境予測」の一環として実施したものです。また、本研究の一部は、スーパーコンピュータ「富岳」の計算資源の提供を受け、実施しました。

5．発表論文

H. Yashiro, K. Terasaki, Y. Kawai, S. Kudo, T. Miyoshi, T. Imamura, K. Minami, H. Inoue, T. Nishiki, T. Saji, M. Satoh, and H. Tomita, “A 1024-Member Ensemble Data Assimilation with 3.5-Km Mesh Global Weather Simulations,” in SC20: International Conference for High Performance Computing, Networking, Storage and Analysis (SC), Atlanta, GA, US, 2020 pp. 1-10. doi: 10.1109/SC41405.2020.00005

6．補足説明

1.スーパーコンピュータ「京」
文部科学省が推進する「革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）の構築」プログラムの中核システムとして、理研と富士通が共同で開発を行い、2012年9月に共用を開始した計算速度10ペタフロップス級のスーパーコンピュータ。2019年8月にシャットダウンしその役目を終えた。

2.スーパーコンピュータ「富岳」
スーパーコンピュータ「京」の後継機。2020年代に、社会的・科学的課題の解決で日本の成長に貢献し、世界をリードする成果を生み出すことを目的とし、電力性能、計算性能、ユーザーの利便性・使い勝手の良さ、画期的な成果創出、ビッグデータやAIの加速機能の総合力において世界最高レベルのスーパーコンピュータとして2021年度の共用開始を目指している。
「富岳」は”富士山”の異名で、富士山の高さがスーパーコンピュータ「富岳」の性能の高さを表し、また富士山の裾野の広がりがスーパーコンピュータ「富岳」のユーザーの拡がりを意味する。また、”富士山”は海外での知名度も高く、名称として相応しいこと、さらにはスーパーコンピュータの名称は山にちなんだ名称の潮流があることなどから理研が選考した。

3.全球高解像度大気モデルNICAM
NICAMはNonhydrostatic ICosahedral Atmospheric Modelの略。全球の大気を超高解像度でシミュレーションすることのできる気象・気候モデル。従来の全球気象モデルでは、大規模な大気の循環と雲・降水プロセスとの関係について、水平解像度が不足しているためになんらかの仮定が必要とされ、不確実性の大きな要因となっていた。NICAMは地球全体で雲の発生・挙動を忠実に表現することにより、高精度のシミュレーションを実現している。

4.局所アンサンブル変換カルマンフィルタLETKF
LETKFはLocal Ensemble Transform Kalman Filterの略。データ同化手法の一種で、特に並列計算効率に優れた現実的な手法。メリーランド大学で初めて考案され、世界のさまざまな数値天気予報システムに実装されている。データ同化は、シミュレーションと現実世界とを結びつける統計数理に基づいた学際的科学で、コンピュータを用いた天気予報の精度を左右する根幹的な役割を果たす。

5.アンサンブル計算
アンサンブルはフランス語で「一緒に」や「同時に」という意味。気象シミュレーションでは、計算初期値や境界条件のわずかな違いが時間とともに増幅し、予測結果に違いをもたらす。そこで初期値や境界条件を意図的に少しずつ変えた複数の計算（アンサンブル計算）を行い、より統計的に確からしい結果を求めている。アンサンブルデータ同化ではアンサンブル計算から時々刻々と変動するシミュレーションの不確かさを見積もることで、より高度なデータ同化を実現している。

7．研究グループ

国立環境研究所地球環境研究センター衛星観測研究室
主任研究員八代尚（やしろひさし）
理化学研究所計算科学研究センター
複合系気候科学研究チーム
チームリーダー富田浩文（とみたひろふみ）
特別研究員河合佑太（かわいゆうた）
データ同化研究チーム
チームリーダー三好建正（みよしたけまさ）
研究員寺崎康児（てらさきこうじ）
大規模並列数値計算技術研究チーム
チームリーダー今村俊幸（いまむらとしゆき）
特別研究員工藤周平（くどうしゅうへい）
チューニング技術ユニット
ユニットリーダー南一生（みなみかずお）
富士通株式会社
コンピューティング事業本部計算科学事業部
シニアマネージャー井上晃（いのうえひかる）
錦龍生（にしきたつお）
株式会社メトロ
技術本部 HPCソリューション部
佐治隆行（さじたかゆき）
東京大学大気海洋研究所
教授　佐藤正樹（さとうまさき）