FollowIR：评估与教导信息检索模型遵循指令
信息检索
2024-05-08 v3 计算与语言
机器学习
摘要
现代语言模型（LM）能够遵循长而复杂的指令，从而满足大量多样化的用户请求。虽然信息检索（IR）模型使用这些LM作为其架构的骨干，但几乎没有模型允许用户在查询的同时提供详细指令，这限制了它们满足复杂信息需求的能力。在本工作中，我们研究了指令在IR系统中的使用。首先，我们介绍了我们的数据集FollowIR，它包含一个严格的指令评估基准以及一个训练集，用于帮助IR模型学会更好地遵循真实世界的指令。FollowIR重新利用了为专业评估人员开发的详细指令（也称为叙述），用于评估检索系统。特别地，我们从文本检索会议（TREC）共享任务中策划的三个集合构建了我们的基准。这些集合每个查询包含数百到数千个标记文档，使其适合我们的探索。通过这个过程，我们可以通过一个新的成对评估框架来衡量IR模型遵循指令的程度。我们的结果表明，现有的检索模型未能正确使用指令，仅将其用于基本关键词，并且难以理解长篇信息。然而，我们证明了IR模型可以学会遵循复杂指令：我们的新FollowIR-7B模型在我们的训练集上进行微调后取得了显著的改进。
引用
@article{arxiv.2403.15246,
title = {FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions},
author = {Orion Weller and Benjamin Chang and Sean MacAvaney and Kyle Lo and Arman Cohan and Benjamin Van Durme and Dawn Lawrie and Luca Soldaini},
journal= {arXiv preprint arXiv:2403.15246},
year = {2024}
}