中文

生成性近视:扩散模型在结构上的失败

机器学习 2025-11-25 v1 系统与控制 系统与控制 谱理论

摘要

图扩散模型(GDMs)优化统计似然概率,隐式地充当频率滤波器,倾向于优先学习丰富的子结构而非谱域关键结构。我们称之为“生成性近视”。在组合任务中,如图稀疏化,这会导致对“稀有桥梁”——结构必需边(Reff1R_{\text{eff}} \approx 1)的惊常删除。我们在理论和实证方面证明,这一失败是由“梯度饥饿”驱动的:优化景观本身抑制了稀有结构信号,使其不可学习,无论模型容量如何。为解决此问题,我们引入“谱加权扩散”,该方法通过有效电阻重新对准变分目标。我们演示了将谱先验在训练阶段进行 amortized 处理,推理时开销为零。我们的方法消除了近视,匹配最优谱域信使的性能,在对抗性基准测试中实现 100% 连通性,而标准扩散模型在此类测试上完全失败(0%)。

关键词

引用

@article{arxiv.2511.18593,
  title  = {Generative Myopia: Why Diffusion Models Fail at Structure},
  author = {Milad Siami},
  journal= {arXiv preprint arXiv:2511.18593},
  year   = {2025}
}