基于学习截断表的快速多样性最近邻搜索——LotusFilter

Yusuke Matsui

基于学习截断表的快速多样性最近邻搜索——LotusFilter

计算机视觉与模式识别 2025-06-06 v1 信息检索机器学习

作者: Yusuke Matsui

摘要

近似最近邻搜索（ANNS）是诸如检索增强生成（RAG）等应用中的关键组件，但有时会产生与彼此过于相似的结果。在某些场景中，搜索结果应与查询相似，同时又具有多样性。我们提出了LotusFilter，一个用于多样化ANNS结果的后处理模块。我们预计算一个概览表，总结彼此彼此接近的向量。在过滤过程中，LotusFilter通过贪心方式查找概览表，以删除候选结果中的冗余向量。我们证明，LotusFilter在类似真实世界RAG应用的设置下运行快速（0.02 [ms/查询]），利用了诸如OpenAI嵌入等特征。在我们的代码已公开于https://github.com/matsui528/lotf。

关键词

近似最近邻搜索结果多样化截断表检索增强生成嵌入后处理

引用

@article{arxiv.2506.04790,
  title  = {LotusFilter: Fast Diverse Nearest Neighbor Search via a Learned Cutoff Table},
  author = {Yusuke Matsui},
  journal= {arXiv preprint arXiv:2506.04790},
  year   = {2025}
}

备注

CVPR 2025. GitHub: https://github.com/matsui528/lotf

基于学习截断表的快速多样性最近邻搜索——LotusFilter

摘要

关键词

引用

备注

相关论文