无混叠潜在扩散模型：提升扩散潜在空间的分数移变等价性
计算机视觉与模式识别
2025-09-23 v2
摘要
潜在扩散模型（LDM）已知具有不稳定的生成过程，即使输入噪声中的微小扰动或偏移也会导致显著不同的输出。这阻碍了其在需要一致结果的应用中的适用性。在本工作中，我们重新设计了 LDM 以通过使其具有移变等价性来增强一致性。虽然引入抗混叠操作可以部分改善移变等价性，但由于 LDM 的独特挑战，显著的混叠和不一致性仍然存在，包括 1) VAE 训练期间和多次 U-Net 推理中的混叠放大，以及 2) 固有缺乏移变等价性的自注意力模块。为了解决这些问题，我们重新设计了注意力模块使其具有移变等价性，并提出了一种等价性损失，有效抑制了连续域中特征的频率带宽。结果得到的无混叠 LDM（AF-LDM）具有很强的移变等价性，并且对不规则形变也具有鲁棒性。广泛的实验证明，AF-LDM 在各种应用中（包括视频编辑和图像到图像转换）产生了比原始 LDM 显著更一致的结果。
引用
@article{arxiv.2503.09419,
title = {Alias-Free Latent Diffusion Models: Improving Fractional Shift Equivariance of Diffusion Latent Space},
author = {Yifan Zhou and Zeqi Xiao and Shuai Yang and Xingang Pan},
journal= {arXiv preprint arXiv:2503.09419},
year = {2025}
}
备注
Code is available at: https://github.com/SingleZombie/AFLDM