规模化推理，失去控制：评估大规模推理模型中的指令遵循
计算与语言
2025-05-27 v2 人工智能
摘要
指令遵循是将大型语言模型 (LLM) 与用户意图对齐的关键。尽管近期推理导向模型在复杂数学问题上表现出惊人的性能, 但其遵循自然语言指令的能力仍未得到充分探索。本文引入 MathIF, 一个专用于评估数学推理任务中指令遵循的基准。我们的经验分析揭示了规模化推理能力与可控性之间存在持续的张力, 即推理能力更强的模型往往难以遵守用户指令。我们发现, 针对提炼长链思维或使用推理导向强化学习训练的模型在指令遵循方面经常下降, 尤其当生成长度增加时。此外, 我们表明即使是简单的干预也可部分恢复顺从性, 尽管会以牺牲推理性能为代价。这些发现凸显了当前 LLM 训练范式中的根本张力, 并激励开发更具指令感知性的推理模型。我们在 https://github.com/TingchenFu/MathIF 上发布代码和数据。
引用
@article{arxiv.2505.14810,
title = {Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models},
author = {Tingchen Fu and Jiawei Gu and Yafu Li and Xiaoye Qu and Yu Cheng},
journal= {arXiv preprint arXiv:2505.14810},
year = {2025}
}