一次可以跟随多少条指令？
人工智能
2025-07-16 v1
摘要
生产级大语言模型系统需要能够同时严格遵循数十乃至数百条指令。然而，当前大语言模型在高指令密度下的指令遵循能力尚未得到充分 caracterization，因为现有基准仅评估模型在单条或少数几条指令的任务上。我们引入 IFScale，这是一个包含 500 条关键词包含指令的基准，用于衡量指令遵循性能随指令密度增加而恶化的程度。我们评估了来自七大提供商的 20 个最先进模型，发现即便是最优秀的前沿模型在最大指令密度（500 条指令）下也仅达到 68% 的准确率。我们的分析揭示了模型规模和推理能力与 3 种不同的性能退化模式相关，包括对早期指令的偏好以及不同类别的指令遵循错误。我们的发现可帮助指导实际应用中稠密指令提示的设计，并突出了重要的性能-延迟权衡。我们开源了该基准及全部结果，详见 https://distylai.github.io/IFScale。
引用
@article{arxiv.2507.11538,
title = {How Many Instructions Can LLMs Follow at Once?},
author = {Daniel Jaroslawicz and Brendan Whiting and Parth Shah and Karime Maamari},
journal= {arXiv preprint arXiv:2507.11538},
year = {2025}
}