利用动态引导缓解扩散模型幻觉
计算机视觉与模式识别
2025-10-08 v1 机器学习
摘要
扩散模型尽管展示了令人印象深刻的演示效果，但经常产生具有结构不一致性的幻觉样本，这些样本超出了真实数据分布的支撑集。这种幻觉可归因于数据分布模式之间的过度平滑。然而，语义插值通常是可取的，并能带来生成的多样性，因此我们认为需要一种更细致的解决方案。在这项工作中，我们引入了动态引导来解决这一问题。动态引导通过仅沿着已知会导致伪影的预定方向选择性地锐化分数函数，同时保留有效的语义变化，从而缓解幻觉。据我们所知，这是第一种在生成时而非通过事后过滤来解决幻觉的方法。动态引导在受控和自然图像数据集上均大幅减少了幻觉，显著优于基线方法。
引用
@article{arxiv.2510.05356,
title = {Mitigating Diffusion Model Hallucinations with Dynamic Guidance},
author = {Kostas Triaridis and Alexandros Graikos and Aggelina Chatziagapi and Grigorios G. Chrysos and Dimitris Samaras},
journal= {arXiv preprint arXiv:2510.05356},
year = {2025}
}