非常に高速で多様な情報検索が可能に～生成AIやECサイト検索結果向上から地震の波形探索への応用まで～

2025-06-12

2025-06-12 東京大学

東京大学大学院情報理工学系研究科の松井勇佑講師は、画像や文章の検索結果の多様性を向上させる新手法「LotusFilter」を開発しました。LotusFilterは、似すぎている結果を非常に高速（0.02ミリ秒/クエリ）に除去することで、多様な検索結果を導き出します。

この手法は、検索処理の速度を損なわずに多様性を付与でき、ECサイトなどの推薦（レコメンド）システムや、生成AIに情報を注入する検索拡張生成など幅広い検索問題に関して、検索結果の品質向上への応用が期待されます。研究成果は、2025年6月11日-15日に米国で開催される国際会議のThe IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)にて発表されました。

＜関連情報＞

LotusFilter：学習されたカットオフテーブルによる多様な最近傍探索の高速化 LotusFilter: Fast Diverse Nearest Neighbor Search via a Learned Cutoff Table

Yusuke Matsui
The IEEE/CVF Conference on Computer Vision and Pattern Recognition
https://openaccess.thecvf.com/content/CVPR2025/papers/Matsui_LotusFilter_Fast_Diverse_Nearest_Neighbor_Search_via_a_Learned_Cutoff_CVPR_2025_paper.pdf

Abstract

Approximate nearest neighbor search (ANNS) is an essential building block for applications like RAG but can sometimes yield results that are overly similar to each other. In certain scenarios, search results should be similar to the query and yet diverse. We propose LotusFilter, a postprocessing module to diversify ANNS results. We precompute a cutoff table summarizing vectors that are close to
each other. During the filtering, LotusFilter greedily looks up the table to delete redundant vectors from the candidates.
We demonstrated that the LotusFilter operates fast (0.02 [ms/query]) in settings resembling real-world RAG applications, utilizing features such as OpenAI embeddings.