AgentAssay：面向非确定性 AI 智能体工作流的高效回归测试
人工智能
2026-03-04 v1 软件工程
摘要
autonomous AI 智能体已在 unprecedented scale 上部署，但不存在原则性的方法来验证智能体在修改其提示、工具、模型或编排逻辑后是否出现回归。我们提出 AgentAssay，这是第一个用于回归测试非确定性 AI 智能体工作流的 token-efficient 框架，在保持严格统计保证的同时实现 78-100% 的成本降低。我们的贡献包括：(1)基于假设检验的随机三值裁决(PASS/FAIL/INCONCLUSIVE)；(2)五维智能体覆盖度指标；(3)智能体特定的突变测试算子；(4)针对智能体工作流的变元关系；(5)作为统计决策程序的 CI/CD 部署门；(6)将执行轨迹映射到紧凑向量的行为指纹，实现多变量回归检测；(7)自适应预算优化校准试验次数以适应行为方差；(8)面向生产轨迹的零成本离线分析。实验覆盖 5 个模型(GPT-5.2、Claude Sonnet 4.6、Mistral-Large-3、Llama-4-Maverick、Phi-4)，3 种场景和 7,605 次试验，表明行为指纹在二元测试检测功效为 86%，SPRT 将试验次数降低 78%，完整管道通过轨迹优先分析实现 100% 成本节省。实现方面：20,000+ 行 Python 代码、751 个测试、10 个框架适配器。
引用
@article{arxiv.2603.02601,
title = {AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows},
author = {Varun Pratap Bhardwaj},
journal= {arXiv preprint arXiv:2603.02601},
year = {2026}
}
备注
Technical Report. 52 pages, 5 figures, 9 theorems, 42 formal definitions. Zenodo DOI: 10.5281/zenodo.18842011