顺序至关重要：探究多约束指令遵循中的位置偏差
计算与语言
2025-03-04 v2 人工智能
摘要
具有多个约束的真实世界指令对现有的大语言模型（LLM）构成了重大挑战。观察发现，当打乱所含约束的顺序时，LLM 表现出剧烈的性能波动。然而，现有工作均未在多约束指令遵循领域系统地探究这一位置偏差问题。为填补这一空白，我们设计了一项探测任务，通过一种新颖的难度分布指数（CDDI）定量测量约束的难度分布。通过实验结果，我们发现当以“由难到易”的顺序呈现约束时，LLM 的表现更佳。这种偏好可以推广到不同架构或不同参数规模的 LLM。此外，我们进行了一项解释性研究，为 LLM 的注意力与约束顺序之间的相关性提供了直观的见解。我们的代码和数据集已公开于 https://github.com/meowpass/PBIF。
引用
@article{arxiv.2502.17204,
title = {Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following},
author = {Jie Zeng and Qianyu He and Qingyu Ren and Jiaqing Liang and Yanghua Xiao and Weikang Zhou and Zeye Sun and Fei Yu},
journal= {arXiv preprint arXiv:2502.17204},
year = {2025}
}