通过局部生成偏差理解扩散模型的文本幻觉
机器学习
2025-03-06 v1 人工智能
摘要
基于分数的扩散模型在生成真实图像、音频和视频数据方面取得了令人瞩目的性能。虽然这些模型产生了具有令人印象深刻细节的高质量样本，但它们经常引入不真实的伪影，例如扭曲的手指或毫无意义的幻觉文本。本文聚焦于文本幻觉，即扩散模型正确生成单个符号但以无意义的方式组装它们。通过实验探测，我们一致观察到这种现象归因于网络的局部生成偏差。去噪网络倾向于产生严重依赖高度相关局部区域的输出，特别是在数据分布的不同维度几乎成对独立时。这种行为导致生成过程将全局分布分解为每个符号的独立分布，最终未能捕捉全局结构，包括潜在的语法。有趣的是，这种偏差在各种去噪网络架构中持续存在，包括具有建模全局依赖结构的MLP和Transformer。这些发现还为理解其他类型的幻觉提供了见解，这些幻觉源于去噪模型中的隐式偏差，超越了文本。此外，我们理论上分析了涉及在超立方体上学习奇偶点的两层MLP的训练动态，为其潜在机制提供了解释。
引用
@article{arxiv.2503.03595,
title = {Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias},
author = {Rui Lu and Runzhe Wang and Kaifeng Lyu and Xitai Jiang and Gao Huang and Mengdi Wang},
journal= {arXiv preprint arXiv:2503.03595},
year = {2025}
}