Hell 或 High Water：评估来自外部故障的代理恢复

随着语言模型代理被应用于日益复杂的现实问题，他们将被期望在大范围的搜索空间中制定计划。如果这些计划因超出控制的原因而失败，语言代理在寻找实现目标备用方式方面表现如何？我们设计了一个专门的代理规划基准来研究此问题。每个规划问题都通过函数调用的组合来求解。代理从超过四千个可能函数中搜索相关函数，并观察以函数输出或错误消息形式呈现的环境反馈。我们的基准会对代理提出外部故障挑战，例如函数突然变得不可用。同时，即便引入了这些故障，我们保证该任务仍可求解。理想情况下，代理在规划任务上的表现不应受到外部故障的影响。总体而言，我们发现语言代理在应对环境反馈时难以制定并执行备用计划。虽然最先进的模型通常能够在正确上下文中识别正确的函数，但它们在适应环境反馈方面存在困难，往往未能追求替代方案，即使搜索空间被人为限制。我们对开源模型和商业模型的失败进行系统性分析，检讨了搜索空间大小的影响，以及在本 setting 下扩大模型规模的益处。我们的分析识别了当前生成模型的关键挑战以及未来工作的有前景的方向。