让长上下文语言模型成为更优秀的多跳推理者
计算与语言
2024-08-07 v1
摘要
尽管近期在长上下文建模方面的进展提升了语言模型(LMs)在多个 NLP 应用中的复杂任务处理能力，但我们发现这些模型在多跳推理方面仍存在困难，并在噪声上下文的存在下表现下降。本文引入一种新方法——基于归因的推理(Reasoning with Attributions)，该方法引导语言模型在推理过程中为每个断言提供归因。我们通过在三个多跳数据集上进行实验，采用 proprietary 和开源模型，验证了该方法的有效性和鲁棒性。此外，我们探索了通过微调来增强推理能力的方法，并提供了一个带有归因注释的数据集和专门的训练策略。我们的微调模型在多跳推理基准测试中取得了与 ChatGPT 和 Claude-instant 等 proprietary 语言模型相似的性能。
关键词
引用
@article{arxiv.2408.03246,
title = {Making Long-Context Language Models Better Multi-Hop Reasoners},
author = {Yanyang Li and Shuo Liang and Michael R. Lyu and Liwei Wang},
journal= {arXiv preprint arXiv:2408.03246},
year = {2024}
}
备注
ACL 2024 Main Conference Camera Ready; Dataset, model, and code are available at https://github.com/LaVi-Lab/LongContextReasoner