VerifyMAS：用于 LLM 多主体系统中失效归因的假设验证

大型语言模型驱动的多主体系统 (LLM-MAS) 在复杂任务中表现出色，但不可靠的主体仍是系统可靠性的关键瓶颈。自动化失效归因因此至关重要，但现有方法如直接预测主体-错误配对和主体优先失效归因，依赖于主体的局部日志，遗漏了仅在完整交互轨迹中才会显现的全局失效，如跨步骤不一致和主体间协调错误。此外，直接预测失效会导致庞大的组合搜索空间，阻碍细粒度归因。为解决这些挑战，我们提出了 VerifyMAS，这是一个针对主体失效归因的假设验证框架。VerifyMAS 不直接预测故障主体和错误类型，而是对完整轨迹进行假设的形式化与验证。这种基于验证的方法将归因分解为轨迹级别的错误验证和细粒度的主体定位，提供一种以错误为优先的归因方法，能够捕获全局失效模式，同时大幅降低搜索空间。我们进一步引入一种基于结构化错误分类学的假设性数据构建策略，并微调一个专用的 LLM 验证器模型，用于轨迹级别的失效验证和主体归因。在 Aegis-Bench 和 Who&When 上进行的实验表明，VerifyMAS 在包括开源 Qwen 和基于 API 的 GPT 模型在内的多种主干模型中均一致地提升了性能，而且在处理长多主体轨迹时未牺牲推理效率。