SafeFix：通过可控图像生成进行定向模型修复
计算机视觉与模式识别
2025-11-26 v2 人工智能
机器学习
摘要
用于视觉识别的深度学习模型常因代表性不足的语义子群体而表现出系统性错误。尽管现有的调试框架可以通过识别关键失败属性来定位这些失败，但有效修复模型仍然困难。当前解决方案通常依赖人工设计的提示来生成合成训练图像——这种方法容易导致分布偏移和语义错误。为了克服这些挑战，我们引入了一个基于可解释失败归因流程的模型修复模块。我们的方法使用条件文本到图像模型为失败案例生成语义忠实且定向的图像。为了保持生成样本的质量和相关性，我们进一步采用大型视觉语言模型（LVLM）来过滤输出，强制其与原始数据分布对齐并保持语义一致性。通过使用这种稀有案例增强的合成数据集重新训练视觉模型，我们显著减少了与稀有案例相关的错误。我们的实验表明，这种定向修复策略在不引入新错误的情况下提高了模型的鲁棒性。代码可在 https://github.com/oxu2/SafeFix 获取。
引用
@article{arxiv.2508.08701,
title = {SafeFix: Targeted Model Repair via Controlled Image Generation},
author = {Ouyang Xu and Baoming Zhang and Ruiyu Mao and Yunhui Guo},
journal= {arXiv preprint arXiv:2508.08701},
year = {2025}
}