作为可微搜索索引的Transformer记忆
计算与语言
2022-10-24 v3 人工智能
信息检索
机器学习
摘要
本文中，我们证明信息检索可由单个Transformer完成，其中关于语料库的所有信息均编码于模型参数中。为此，我们引入可微搜索索引（DSI），一种学习文本到文本模型的新范式，该模型将字符串查询直接映射到相关文档ID；换言之，DSI模型仅利用其参数直接回答查询，大幅简化整个检索流程。我们研究了文档及其标识符的表示方式、训练过程的变体，以及模型与语料库规模之间的相互作用。实验表明，在恰当的设计选择下，DSI显著优于双编码器模型等强基线。此外，DSI展现出强大的泛化能力，在零样本设定下优于BM25基线。
引用
@article{arxiv.2202.06991,
title = {Transformer Memory as a Differentiable Search Index},
author = {Yi Tay and Vinh Q. Tran and Mostafa Dehghani and Jianmo Ni and Dara Bahri and Harsh Mehta and Zhen Qin and Kai Hui and Zhe Zhao and Jai Gupta and Tal Schuster and William W. Cohen and Donald Metzler},
journal= {arXiv preprint arXiv:2202.06991},
year = {2022}
}
备注
NeurIPS 2022