规则胜于引导：关于编码代理的规则、技能与持久配置的大规模研究
人工智能
2026-05-29 v2 计算与语言
摘要
随机规则对编码代理的任务性能提升与专家精选规则一样多（两者在SWE-bench Verified的判别性子集上提升+13.8pp），且我们的数据显示，每一个单独有益的规则都是一个消极约束（“不要重构无关代码”），而每一个单独有害的规则都是一个正向指令（“遵循代码样式”）。我们通过对agent rule文件的第一大规模受控研究得出这些结论：我们从GitHub抓取了679个rule文件（25,532条规则），并对Claude Code使用Claude Opus 4.6在SWE-bench Verified上进行了5,000多次agent运行。出现了三个模式。（i）规则极性干净地将有益规则与有害规则分离；我们从基于潜在奖励塑形（PBRS）的角度来理解这一点。（ii）性能提升在很大程度上与内容无关：随机、混洗、不匹配域和未转换格式的rule文件都与精选规则相匹配，这指向一种上下文 priming 机制。（iii）单个规则往往在孤立情况下看起来有害，但在集合中并不明显地积累损伤：通过规则数量从0到50，通过率保持稳定。这揭示了快速增长的社区作者规则和技能生态系统中的隐藏可靠风险，并为更安全的agent配置提出了明确原则：约束代理必须做什么，而不是指定它们应该做什么。
引用
@article{arxiv.2604.11088,
title = {Guardrails Beat Guidance: A Large-Scale Study of Rules, Skills, and Persistent Configuration for Coding Agents},
author = {Xing Zhang and Guanghui Wang and Yanwei Cui and Wei Qiu and Ziyuan Li and Bing Zhu and Peiyang He},
journal= {arXiv preprint arXiv:2604.11088},
year = {2026}
}