HalluGen：合成真实且可控的幻觉以评估图像修复
计算机视觉与模式识别
2025-12-04 v1 人工智能
摘要
生成模型容易产生幻觉：合理但错误的结构，在真实标签中不存在。此问题在图像修复中尤为棘手，涉及医学成像、工业检测和遥感等安全关键领域，此类错误会削弱可靠性和信任。例如，广泛用于资源有限场景的低场MRI，修复模型对于增强低质量扫描至关重要，但幻觉可能导致严重的诊断错误。进展一直受到循环依赖的阻碍：评估幻觉需要标注数据，但此类标签成本高昂且主观。我们引入了HalluGen，一个基于扩散的框架，可合成具有可控类型、位置和严重程度的真实幻觉，产生感知上真实但语义上错误的输出（分割IoU从0.86降至0.36）。利用HalluGen，我们构建了首个大规模幻觉数据集，包含来自1450张脑部MRI图像的4350张标注图像，用于低场增强，从而实现幻觉检测与缓解的系统化评估。我们证明了其在两个应用中的效用：（1）基准测试图像质量指标并开发语义幻觉评估通过特征评估（SHAFE），一种具有软注意力池化的基于特征的指标，相比传统指标提升了幻觉敏感性；（2）训练无参考的幻觉检测器，可泛化到真实修复失败。HalluGen及其开放数据集共同为评估安全关键图像修复中的幻觉建立了首个可扩展的基础。
引用
@article{arxiv.2512.03345,
title = {HalluGen: Synthesizing Realistic and Controllable Hallucinations for Evaluating Image Restoration},
author = {Seunghoi Kim and Henry F. J. Tregidgo and Chen Jin and Matteo Figini and Daniel C. Alexander},
journal= {arXiv preprint arXiv:2512.03345},
year = {2025}
}