面向大语言模型指令遵循的数据评估与改进的多维约束框架——MulDimIF
计算与语言
2026-04-16 v2 人工智能
摘要
指令遵循是指大语言模型（LLM）生成的输出是否满足所有指定约束的能力。现有研究主要关注约束类别，评估维度有限且对改进指令遵循能力指导不足。为此，我们提出MulDimIF，一个多维约束框架，涵盖三个约束模式、四个约束类别和四个难度层级。基于此框架，我们设计了可控的指令生成管道。通过约束扩展、冲突检测和指令重写，我们构建了9,106个可验证的样本。我们评估了18个来自六个模型家族的LLM，发现不同约束设置下的表现存在显著差异。例如，水平I的平均准确率为80.82%，而在水平IV时降至36.76%。此外，使用我们框架生成的数据进行训练能显著提升指令遵循能力而不影响通用性能。深入分析表明，这些提升主要来自注意力模块的参数更新，这些模块加强了约束识别和遵循能力。代码和数据已公开于https://github.com/Junjie-Ye/MulDimIF。
引用
@article{arxiv.2505.07591,
title = {MulDimIF: A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models},
author = {Junjie Ye and Caishuang Huang and Zhuohan Chen and Wenjie Fu and Chenyuan Yang and Leyi Yang and Yilong Wu and Peng Wang and Meng Zhou and Xiaolong Yang and Tao Gui and Qi Zhang and Zhongchao Shi and Jianping Fan and Xuanjing Huang},
journal= {arXiv preprint arXiv:2505.07591},
year = {2026}
}
备注
Accepted by ACL 2026