プログラミングにおける不安定なテストが プロジェクトの枠を超えて広がっていることを確認 〜OpenStack エコシステムの約 55% に波及し、1,156 ⽇分の時間ロスが発⽣〜

九州大学（Kyushu University）大学院システム情報科学研究院の研究グループは、ソフトウェア開発で問題となる「不安定なテスト（Flaky Test）」が、単一プロジェクトを超えてエコシステム全体に波及していることを明らかにした。研究では、大規模クラウド基盤ソフトウェア群OpenStackを対象に、649プロジェクト、約2.9万件のコードレビュー、約7.4万件の修正案を解析した。その結果、OpenStackエコシステム内の約55％のプロジェクトが、複数プロジェクトにまたがる不安定なテストの影響を受けていることが判明した。また、1535件のクロスプロジェクト型Flaky Testと、同じテストでもプロジェクトごとに不安定性が異なる1105件の事例を確認した。不安定さの主因は、サーバ障害、同時実行タイミングのずれ、依存ソフト更新、CI設定差異などだった。さらに、この問題によりコードレビュー工程で合計1156日分の時間損失が発生していた。本成果は、Flaky Testの早期検知や自動原因分類技術開発につながり、社会インフラを支える大規模ソフトウェアの信頼性向上に寄与すると期待される。