AnomalyAgent：基于工具增强强化学习的工业异常合成智能体
计算机视觉与模式识别
2026-04-10 v1 人工智能
摘要
工业异常生成是缓解异常检测任务中数据稀缺问题的关键方法。大多数现有异常合成方法依赖单步生成机制，缺乏复杂推理和迭代优化能力，难以生成高语义真实性的异常样本。我们提出AnomalyAgent，一种具备自我反思、知识检索和迭代细化能力的异常合成智能体，旨在生成真实且多样化的异常。具体而言，AnomalyAgent配备五个工具：提示生成（PG）、图像生成（IG）、质量评估（QE）、知识检索（KR）和掩码生成（MG），实现闭环优化。为提高决策和自我反思能力，我们从真实异常图像构建结构化轨迹，并设计两个阶段的训练框架：监督微调后强化学习。该过程由三个奖励机制驱动：（1）任务奖励监督生成异常的质量和位置合理性；（2）反思奖励训练模型改进异常合成提示的能力；（3）行为奖励确保遵循轨迹。在MVTec-AD数据集上，AnomalyAgent在异常生成方面达到IS/IC-L的2.10/0.33，使用ResNet34时分类准确率为57.0%，使用简单UNet时在图像/像素级别的AP分别为99.3%/74.2%，超越了所有零样本SOTA方法。该代码和数据将公开释放。
引用
@article{arxiv.2604.07900,
title = {AnomalyAgent: Agentic Industrial Anomaly Synthesis via Tool-Augmented Reinforcement Learning},
author = {Jiaming Su and Tengchao Yang and Ruikang Zhang and Zhengan Yan and Haoyu Sun and Linfeng Zhang},
journal= {arXiv preprint arXiv:2604.07900},
year = {2026}
}