GleanVec：利用极简非线性降维加速向量搜索
信息检索
2024-10-31 v1 机器学习
摘要
嵌入模型可以生成高维向量，其相似性反映了语义亲和力。因此，在大规模集合中准确、及时地检索到与给定查询相似的向量，已成为广泛应用的关键组成部分。特别是，跨模态检索（例如，使用文本查询查找图像）正在迅速发展。在此场景中，由于查询通常与数据库向量具有不同的统计分布，实现高精度颇具挑战。此外，高向量维度使这些搜索系统面临计算和内存压力，导致性能欠佳。在这项工作中，我们提出了新的线性和非线性降维方法，以加速高维向量搜索，同时在分布内（ID）和分布外（OOD）查询设置中保持准确性。线性方法LeanVec-Sphering优于其他线性方法，训练速度更快，没有超参数，并允许更灵活地设置目标维度。非线性方法广义LeanVec（GleanVec）使用分段线性方案进一步提高搜索准确性，同时保持计算轻便。初步实验结果表明，LeanVec-Sphering和GleanVec推动了向量搜索的最新技术水平。
引用
@article{arxiv.2410.22347,
title = {GleanVec: Accelerating vector search with minimalist nonlinear dimensionality reduction},
author = {Mariano Tepper and Ishwar Singh Bhati and Cecilia Aguerrebere and Ted Willke},
journal= {arXiv preprint arXiv:2410.22347},
year = {2024}
}