基于指令的任务感知检索
计算与语言
2022-12-21 v2
摘要
我们研究带指令的检索问题，其中检索系统的用户明确描述其意图及查询。我们旨在利用多任务指令微调开发一个通用任务感知检索系统，该系统可遵循人类书写的指令为给定查询找到最佳文档。我们引入了首个约 40 个带指令检索数据集的大规模集合 BERRI，并提出了 TART，一个在 BERRI 上基于指令训练的多任务检索系统。TART 展现出通过指令适应新检索任务的强大能力，并在两个零样本检索基准 BEIR 和 LOTTE 上推进了当前最优水平，优于规模为其三倍的模型。我们进一步引入了一种新的评估设置 X^2-Retrieval，以更好地反映真实场景：不同领域和任务被汇聚，系统需找到符合用户意图的文档。在此设置下，TART 显著优于有竞争力的基线，进一步证明了以指令引导检索的有效性。
引用
@article{arxiv.2211.09260,
title = {Task-aware Retrieval with Instructions},
author = {Akari Asai and Timo Schick and Patrick Lewis and Xilun Chen and Gautier Izacard and Sebastian Riedel and Hannaneh Hajishirzi and Wen-tau Yih},
journal= {arXiv preprint arXiv:2211.09260},
year = {2022}
}
备注
Code, data and pretrained model checkpoints are available at https://github.com/facebookresearch/tart