中文

能力足够但不可靠:规范路径偏差作为长期任务中代理人失败的因果机制

计算与语言 2026-02-24 v1 机器学习

摘要

为何语言代理人会在能够解决的任务上失败?我们认为,许多此类失败是可靠性失败,由任务潜在解结构的随机漂移引起,而非能力失败。每个明确定义的工具使用任务都会施加一个规范解路径(即一组在成功运行中共享的工具调用集合),且代理人成功与否关键取决于轨迹是否停留在该路径的运行范围内。我们通过一种天然实验建立了这一因果关系,该实验通过构造方式固定模型能力和任务难度。我们分析来自 Toolathlon 基准的轨迹:22 个前沿模型每个尝试 108 个真实世界的工具使用任务,进行 3 次独立运行,产生 515 个模型×任务单元,其中相同模型在某些运行中成功,在其他运行中仅因 LLM 抽样随机性而失败。在这些单元中,成功的运行与失败的运行在规范解路径上的遵循程度显著更高(Jaccard 增加 +0.060,p<0.0001,n=488 个单元,95%置信区间 [+0.043, +0.077])。该结果经过六项鲁棒性检验,包括跨模型家族的留一验证。关键在于,因果机制是渐进且自我强化的:遵循差距在轨迹前 50%期间几乎为零,排除了早期分支选择偏差,而每一次偏离规范的工具调用都会使下一调用偏离规范的概率提高 22.7 个百分点(β^=+0.227\hat{\beta}=+0.227,p<0.0001),超过翻倍基线率。这一发现表明,仅靠能力扩展无法提高代理人可靠性,但提供了一个高度可操作的干预措施:基于中期规范遵循度对底部三分之一运行进行重启的简单监控器可使干预运行的成功率提高 +8.8 个百分点。

关键词

引用

@article{arxiv.2602.19008,
  title  = {Capable but Unreliable: Canonical Path Deviation as a Causal Mechanism of Agent Failure in Long-Horizon Tasks},
  author = {Wilson Y. Lee},
  journal= {arXiv preprint arXiv:2602.19008},
  year   = {2026}
}