WorkflowPerturb：用于评估多智能体工作流程指标的校准压力测试
人工智能
2026-02-23 v1
摘要
基于 LLM 的系统越来越多地生成用于复杂任务的结构化工作流程。实际中，由于指标得分往往未校准，得分变化不直接传达工作流程退化的严重程度，自动评估这些工作流程存在困难。我们引入 WorkflowPerturb，一个受控基准，用于研究工作流程评估指标。它通过对金色工作流程施加真实且受控的扰动来实现。WorkflowPerturb 包含 4,973 个金色工作流程和 44,757 个扰动变体，涵盖三种扰动类型（缺失步骤、压缩步骤和描述更改），每种扰动类型均在 10%、30% 和 50% 的严重程度水平下应用。我们对多组指标进行基准测试，并分析其灵敏度和校准性，使用预期得分轨迹和残差。我们的结果刻画了不同指标家族之间的系统性差异，支持严重程度感知的工作流程评估得分解释。本数据集将在接受后公开。
引用
@article{arxiv.2602.17990,
title = {WorkflowPerturb: Calibrated Stress Tests for Evaluating Multi-Agent Workflow Metrics},
author = {Madhav Kanda and Pedro Las-Casas and Alok Gautam Kumbhare and Rodrigo Fonseca and Sharad Agarwal},
journal= {arXiv preprint arXiv:2602.17990},
year = {2026}
}