用于文本检索的稀疏、稠密与注意力表示
计算与语言
2021-02-18 v3
摘要
双编码器通过将文档与查询编码为稠密低维向量，并以文档与查询的内积打分来进行检索。我们研究了该架构相对于稀疏词袋模型与注意力神经网络的能力。通过理论与经验分析，我们建立了编码维度、黄金文档与低排名文档之间的间隔以及文档长度之间的联系，表明定长编码在支持长文档精确检索方面存在能力局限。基于这些见解，我们提出了一种简单的神经模型，它结合了双编码器的效率与更昂贵的注意力架构的部分表达能力，并探索了稀疏-稠密混合方法以利用稀疏检索的精确性。这些模型在大规模检索中优于强基线。
引用
@article{arxiv.2005.00181,
title = {Sparse, Dense, and Attentional Representations for Text Retrieval},
author = {Yi Luan and Jacob Eisenstein and Kristina Toutanova and Michael Collins},
journal= {arXiv preprint arXiv:2005.00181},
year = {2021}
}
备注
To appear in TACL 2020. The arXiv version is a pre-MIT Press publication version