ReasonIR：为推理任务训练检索器
人工智能
2025-04-30 v1 计算与语言
信息检索
机器学习
摘要
我们提出了 ReasonIR-8B，是首个为通用推理任务专门训练的检索器。现有检索器在推理任务上表现有限，部分原因在于现有训练数据集聚焦于与文档直接作答的短期事实查询。我们构建了合成数据生成管道，为每个文档生成一个具有挑战性且相关性强的查询，同时生成一个与之密切相关却最终无帮助的硬负样本。通过在我们的合成数据与现有公开数据上进行混合训练，ReasonIR-8B 在 BRIGHT（广泛使用的推理密集型信息检索基准）上实现了无重排器时 29.9 的 nDCG@10，启用重排器时达到 36.9 的 nDCG@10，创下新纪录。在 RAG 任务中，ReasonIR-8B 分别相对于闭卷书面基线在 MMLU 和 GPQA 上提升了 6.4% 和 22.6%。此外，ReasonIR-8B 在测试时更有效地利用计算资源：在 BRIGHT 上，随着查询长度增长和信息密度提升，其性能持续提升；在结合大语言模型重排器时，仍能超越其他检索器和搜索引擎。我们的训练方法通用可扩展至未来模型，为此我们已开源代码、数据及模型。
引用
@article{arxiv.2504.20595,
title = {ReasonIR: Training Retrievers for Reasoning Tasks},
author = {Rulin Shao and Rui Qiao and Varsha Kishore and Niklas Muennighoff and Xi Victoria Lin and Daniela Rus and Bryan Kian Hsiang Low and Sewon Min and Wen-tau Yih and Pang Wei Koh and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2504.20595},
year = {2025}
}
备注
Our code is released at \url{https://github.com/facebookresearch/ReasonIR}