扩散模型中的计数幻觉
计算机视觉与模式识别
2025-12-16 v2
摘要
扩散概率模型（Diffusion Probabilistic Models，DPMs）在生成任务中取得了显著进展，如图像和视频合成。然而，它们仍常产生与现实世界知识相冲突的幻觉样本（hallucinations），例如生成的浮动杯子旁出现不合理的重复杯子。尽管此类幻觉十分常见，但缺乏可行的方法来系统性地量化此类幻觉，阻碍了解决此问题的进展，并掩盖了在事实约束条件下设计下一代生成模型的潜在路径。本文聚焦于一种特定形式的幻觉，我们称之为计数幻觉，即生成不正确数量的实例或结构化对象，如手部图像拥有六只手指，尽管此类模式在训练数据中不存在。为此，我们构建了一个称为 CountHalluSet 的数据集套组，包含 ToyShape、SimObject 和 RealHand 三个子集，设有明确的计数标准。使用这些数据集，我们开发了标准化的评估协议，用于量化计数幻觉，系统性地检验扩散模型中不同采样条件（包括求解器类型、ODE 求解器阶数、采样步数和初始噪声）对计数幻觉水平的影响。此外，我们分析了它们与常见评估指标（如 FID）之间的相关性，揭示了这一广泛使用的图像质量指标未能一致地捕捉计数幻觉。这项工作旨在为扩散模型中的幻觉量化铺平第一步之路，并为图像生成中幻觉现象的调查提供新视角。
引用
@article{arxiv.2510.13080,
title = {Counting Hallucinations in Diffusion Models},
author = {Shuai Fu and Jian Zhou and Qi Chen and Huang Jing and Huy Anh Nguyen and Xiaohan Liu and Zhixiong Zeng and Lin Ma and Quanshi Zhang and Qi Wu},
journal= {arXiv preprint arXiv:2510.13080},
year = {2025}
}