复杂逻辑指令生成
计算与语言
2026-01-28 v2 机器学习
摘要
指令跟随是推动大语言模型 (LLM) 最近时代的核心能力，也是支撑推理和智能体行为等更高级能力的基础技能。随着任务变得更加具有挑战性，嵌入自然语言指令中的逻辑结构变得越来越复杂。然而，LLM 在此类逻辑丰富的指令上表现如何仍未得到充分探索。我们提出了 LogicIFGen 和 LogicIFEval。LogicIFGen 是一个可扩展、自动化的框架，用于从代码函数生成可验证的指令，这些指令可以自然地表达条件、循环和函数调用等丰富的逻辑。我们进一步收集了一系列复杂代码函数，并使用 LogicIFGen 构建了 LogicIFEval，即包含 426 个可验证逻辑丰富指令的基准。我们的实验表明，当前最先进的 LLM 在 LogicIFEval 中的指令上仍难以正确遵循。大多数 LLM 只能正确遵循不到 60% 的指令，这揭示了指令跟随能力的显著不足。代码与基准：https://github.com/mianzhang/LogicIF
引用
@article{arxiv.2508.09125,
title = {Complex Logical Instruction Generation},
author = {Mian Zhang and Shujian Liu and Sixun Dong and Ming Yin and Yebowen Hu and Xun Wang and Steven Ma and Song Wang and Sathish Reddy Indurthi and Haoyun Deng and Zhiyu Zoey Chen and Kaiqiang Song},
journal= {arXiv preprint arXiv:2508.09125},
year = {2026}
}