AGRaME：基于多向量嵌入的任意粒度排序
计算与语言
2024-05-27 v1 信息检索
摘要
排序是搜索中的一个基本且流行的问题。然而，现有的排序算法通常将排序的粒度限制为完整段落，或需要为每个所需的粒度层级设置特定的稠密索引。这种对粒度灵活性的缺乏负面影响许多可以从更细粒度排序中受益的应用，例如用于开放域问答的句子级排序，或用于归因的命题级排序。在本工作中，我们引入了任意粒度排序的概念，这一概念利用多向量嵌入在保持编码为单个(较粗)粒度层级的同时，对各种粒度层级进行排序。我们提出了用于训练多向量方法的多粒度对比损失，并通过以句子和命题为排序单元验证了其实用性。最后，我们演示了将命题级排序应用于事后引用添加于检索增强生成(RAG)，显著优于基于提示的引用生成方法。
引用
@article{arxiv.2405.15028,
title = {AGRaME: Any-Granularity Ranking with Multi-Vector Embeddings},
author = {Revanth Gangi Reddy and Omar Attia and Yunyao Li and Heng Ji and Saloni Potdar},
journal= {arXiv preprint arXiv:2405.15028},
year = {2024}
}