ReasonIF：大规模推理模型在推理过程中未遵循指令
机器学习
2025-10-20 v1 人工智能
摘要
大型语言模型（LLMs）遵循用户指令的能力是其可靠性、安全性和实用性的核心。虽然已有研究评估模型主响应中的指令遵循程度，但我们认为，对大规模推理模型（LRMs）在其推理过程中的指令遵循同样至关重要。推理过程中的指令遵循使LRMs 更具可控性和可解释性，同时降低了推理轨迹中出现不希望的捷径、幻觉或奖励黑客的风险。为评估这一维度，我们引入了ReasonIF，一个系统化的基准，用于评估推理指令遵循。ReasonIF 包括六类指令提示，涵盖多语言推理、格式和长度控制。在包括 GPT-OSS、Qwen3 和 DeepSeek-R1 在内的众多开源 LRMs 上，我们发现推理指令遵循存在实质性失效：最高的指令遵循得分（IFS）仍低于0.25，即 fewer than 25% 的推理轨迹符合给定的指令。值得注意的是，随着任务难度的增加，推理指令遵循进一步恶化。我们还探讨了两种增强推理指令忠诚度的策略：（1）多轮推理和（2）使用合成数据的推理指令微调（RIF）。RIF 将 GPT-OSS-20B 的 IFS 从 0.11 提升到 0.27，表明取得了可测量的进展，但仍有充分的改进空间。
引用
@article{arxiv.2510.15211,
title = {ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning},
author = {Yongchan Kwon and Shang Zhu and Federico Bianchi and Kaitlyn Zhou and James Zou},
journal= {arXiv preprint arXiv:2510.15211},
year = {2025}
}