AdvancedIF：基于评分表的基准测试与强化学习用于提升大语言模型指令遵循能力
计算与语言
2025-11-27 v2
摘要
最近的进展在大型语言模型 (LLM) 中导致在各类任务上取得惊人的性能，但针对复杂、多轮和系统提示下的指令遵循能力仍是重大挑战。严格的评估和有效训练受限于缺乏高质量的人工标注基准和可靠、可解释的奖励信号。在本工作中，我们引入 AdvancedIF (我们将很快公开发布此基准)，一个综合性基准，包含超过 1,600 个提示和专家精选的评分表，用于评估 LLM 遵循复杂、多轮和系统级指令的能力。我们进一步提出了 RIFL (基于评分表的指令学习)，这是一种新颖的后训练管道，利用评分表生成、精调评分表验证器和奖励塑形，使指令遵循的有效强化学习成为可能。广泛的实验表明，RIFL 在指令遵循能力上显著提升了 LLM，在 AdvancedIF 上实现了 6.7% 的绝对提升，并在公开基准上取得优异结果。我们的消融研究确认了 RIFL 每个组件的有效性。这项工作确立了评分表作为 LLM 高级指令遵循训练和评估的强大工具，为更具能力和可靠性的人工智能系统铺平了道路。
引用
@article{arxiv.2511.10507,
title = {AdvancedIF: Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following},
author = {Yun He and Wenzhe Li and Hejia Zhang and Songlin Li and Karishma Mandyam and Sopan Khosla and Yuanhao Xiong and Nanshu Wang and Xiaoliang Peng and Beibin Li and Shengjie Bi and Shishir G. Patil and Qi Qi and Shengyu Feng and Julian Katz-Samuels and Richard Yuanzhe Pang and Sujan Gonugondla and Hunter Lang and Yue Yu and Yundi Qian and Maryam Fazel-Zarandi and Licheng Yu and Amine Benhalloum and Hany Awadalla and Manaal Faruqui},
journal= {arXiv preprint arXiv:2511.10507},
year = {2025}
}