使用差分测试揭示自主系统中的系统性与环境错误
人工智能
2026-01-16 v2
摘要
当自主代理行为不良时，包括未完成任务，确定行为是由于系统性代理错误（如模型或策略中的缺陷），还是由于环境错误（即在给定环境配置下，即使是理想的代理也无法实现任务）一直是一个困难的问题。随着代理及其环境的复杂性不断增加，确定错误来源变得越来越困难，但对可靠部署至关重要。我们引入AIProbe，一种新的黑盒测试技术，该技术应用差分测试来归因于代理缺陷，如建模或训练缺陷，或归因于环境不可行性。AIProbe首先通过修改可配置参数使用拉丁超立方抽样生成多样化的环境配置和任务，以测试代理。然后，它使用基于搜索的规划器独立于代理地解决每个生成的任务。通过比较代理的性能与规划器的解决方案，AIProbe识别出失败是由于代理模型或策略中的错误，还是由于不可解决的任务条件。我们在多个领域进行的评估显示，AIProbe在检测总体错误和唯一错误方面显著优于最先进的技术，从而促进了自主代理的可靠部署。
引用
@article{arxiv.2507.03870,
title = {Uncovering Systemic and Environment Errors in Autonomous Systems Using Differential Testing},
author = {Yashwanthi Anand and Rahil P Mehta and Manish Motwani and Sandhya Saisubramanian},
journal= {arXiv preprint arXiv:2507.03870},
year = {2026}
}