Promptriever：指令微调的检索模型可像语言模型一样被提示
信息检索
2024-09-18 v1 计算与语言
机器学习
摘要
指令微调后的语言模型 (LM) 能够响应命令性指令，提供比其基础模型更自然的用户界面。在本工作中，我们提出 Promptriever，这是首个能够像 LM 一样被提示的检索模型。为训练 Promptriever，我们从 MS MARCO 中构建并发布了新的以实例为基础的指令训练数据集，覆盖近 50 万个实例。Promptriever 不仅在标准检索任务上取得优异成绩，还能遵循指令。我们观察到：(1) 在遵循详细相关指令方面取得显著提升（在 FollowIR 上获得 +14.3 p-MRR / +3.1 nDCG 的提升），(2) 对查询+指令中词汇选择/措辞的鲁棒性显著提升（在 InstructIR 上获得 +12.9 Robustness@10 的提升），以及 (3) 可通过提示进行超参数搜索，以可靠地提升检索性能（在 BEIR 上平均提升 +1.4）。Promptriever 表明检索模型可以在查询级别上使用提示进行控制，为未来将 LM 提示技术与信息检索对齐奠定了基础。
引用
@article{arxiv.2409.11136,
title = {Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models},
author = {Orion Weller and Benjamin Van Durme and Dawn Lawrie and Ashwin Paranjape and Yuhao Zhang and Jack Hessel},
journal= {arXiv preprint arXiv:2409.11136},
year = {2024}
}