面向快速且改进的知识密集型 NLP 的高效标题重排器
信息检索
2024-02-27 v3 人工智能
计算与语言
机器学习
摘要
在近期的 RAG 方法中，重排器在提升检索准确性方面发挥着关键作用，其具备揭示每对查询与文本之间逻辑关系的能力。然而，现有的重排器需要重复编码查询和大量检索到的长文本。这导致了高昂的计算成本，并限制了检索文本的数量，从而阻碍了准确性的提升。作为该问题的补救措施，我们引入了基于广播查询编码器的高效标题重排器，这是一种用于标题重排的新技术，相比普通段落重排器实现了 20 倍至 40 倍的加速。此外，我们引入了 Sigmoid Trick，一种专为标题重排定制的新型损失函数。结合这两种技术，我们通过实验验证了它们的有效性，在 KILT 知识基准上我们进行实验的所有四个数据集上均取得了最先进的结果。
引用
@article{arxiv.2312.12430,
title = {Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP},
author = {Ziyi Chen and Jize Jiang and Daqian Zuo and Heyi Tao and Jun Yang and Yuxiang Wei},
journal= {arXiv preprint arXiv:2312.12430},
year = {2024}
}