超越指令跟随：评估大语言模型的推理规则遵循能力
计算与语言
2024-10-18 v4 人工智能
摘要
尽管大语言模型（LLMs）已展示出强大的能力，但在实际场景中仍需被控制和引导，以实现安全、准确和智能。这要求具备推理规则遵循能力。然而，目前尚无工作对大语言模型的推理规则遵循能力进行明确评估。以往尝试评估推理规则遵循能力的研究未能区分推理规则遵循场景与指令遵循场景。因此，本文首先阐明推理规则遵循的概念，提出综合基准 RuleBench 来评估各种推理规则遵循能力。我们的实验结果表明，大语言模型在遵循规则方面仍有局限。基于评估结果的分析为提升大语言模型向更佳推理规则遵循智能体的发展提供了见解。我们进一步提出推理规则遵循调优（IRFT）。实验结果表明，通过 IRFT，大语言模型可从纯合成数据中学习抽象规则遵循能力，并在 RuleBench 上实现泛化。数据与代码可在 https://anonymous.4open.science/r/llm-rule-following-B3E3/ 查阅。
引用
@article{arxiv.2407.08440,
title = {Beyond Instruction Following: Evaluating Inferential Rule Following of Large Language Models},
author = {Wangtao Sun and Chenxiang Zhang and XueYou Zhang and Xuanqing Yu and Ziyang Huang and Pei Chen and Haotian Xu and Shizhu He and Jun Zhao and Kang Liu},
journal= {arXiv preprint arXiv:2407.08440},
year = {2024}
}