放射光実験の大容量データの即時圧縮技術を開発 -SPring-8のデータを8,600分の1に圧縮-

2026-04-03 理化学研究所,高輝度光科学研究センター,東北大学

理化学研究所(理化学研究所)などの共同研究グループは、放射光実験で発生する超大容量データをリアルタイムで圧縮・解析する技術基盤を開発した。 FPGAを用いてデータ生成直後に前処理と可逆圧縮を行うことで、毎秒27GB・週19PBに達するデータを平均約8600分の1に削減し、約22TBまで圧縮可能とした。さらにHPCと連携した統合基盤により、取得後数分で解析結果を取得でき、実験中の条件最適化を実現。従来の「測定後解析」から「測定中解析」への転換を可能にし、次世代放射光施設や大規模計測分野への応用が期待される。

放射光実験の大容量データの即時圧縮技術を開発 -SPring-8のデータを8,600分の1に圧縮-
図1 本研究で構築した検出器データ処理基盤の概念図

<関連情報>

FPGAアクセラレーションによるストリーミングデータ削減により、準弾性ガンマ線散乱用の17.4kHz、840kピクセルCITIUS検出器において、平均圧縮率8000以上を達成
FPGA-accelerated streaming data reduction achieving an average compression ratio over 8000 in a 17.4 kHz, 840 kpixel CITIUS detector for quasi-elastic gamma-ray scattering

Haruki Nishino,Masashi Kobayashi,Toshiyuki Nishiyama Hiraki,Yoshiaki Honjo,Kyosuke Ozaki,Mitsuhiro Yamaga,Nobumoto Nagasawa,Yoshitaka Yoda,Yasumasa Joti,Makina Saito and Takaki Hatsui
Journal of Synchrotron Radiation  Published:25 March 2026
DOI:https://doi.org/10.1107/S1600577526000883

We present a data-acquisition and -analysis framework for quasi-elastic gamma-ray scattering (QEGS) experiments at BL35XU of SPring-8, equipped with an 840 kpixel CITIUS X-ray detector operating at 17.4 kHz. The detector produces data at 27 GB s−1 (216 Gbps), and typical experiments involve acquisition over beam-time periods longer than 24 h, generating datasets of 2.3 PB per day. To handle this volume, we constructed a data-handling pipeline consisting of the detector, data reduction at the beamline and analysis tools at the data center. The data reduction employs field-programmable gate array (FPGA)-accelerated per-pixel processing to reduce data entropy, followed by Zstandard compression on CPUs, achieving an average compression ratio of over 8000. The compressed data are transferred to the SPring-8 data center within two to three minutes of data acquisition. At the data center, analysis tools are provided via the Open OnDemand platform, enabling incremental integration and spectral analysis through a web-based interface without the need for high-performance-computing command-line interaction. This data-handling pipeline has been applied in QEGS user experiments, where it enabled timely feedback on experimental data, with integrated results available within six minutes and spectral analysis within seven minutes of integration.

1603情報システム・データ工学
ad
ad
Follow
ad
タイトルとURLをコピーしました