向可扩散的高维潜在空间迈进：频率视角
计算机视觉与模式识别
2025-12-01 v1
摘要
潜在扩散已成为视觉生成的默认范式，但我们观察到在潜在维数增加时仍然存在复原-生成之间的权衡：潜在维数越高，自编码器的重建保真度越高，但生成质量最终会下降。我们追溯到高频编码与解码行为的差异。通过在RGB域和潜在域中的受控扰动，我们分析了编码器/解码器的行为，发现解码器严重依赖高频潜在组件来恢复细节，而编码器在高频内容上存在不足的表征，导致扩散模型训练在高频带段中存在不足的曝光和欠拟合。为解决此问题，我们引入FreqWarm——一种即插即用的频率预热课程，在扩散或流匹配训练的早期阶段增加对高频潜在信号的曝光，而无需修改或重新训练自编码器。应用于多个高维自编码器时，FreqWarm consistently improve generation quality: 在 Wan2.2-VAE 上降低 gFID 14.11，在 LTX-VAE 上降低 6.13，在 DC-AE-f32 上降低 4.42，同时保持架构无关且与多样化 backbone 兼容。我们的研究表明，显式管理频率曝光可以成功地将高维潜在空间转化为更易扩散的目标。
引用
@article{arxiv.2511.22249,
title = {Toward Diffusible High-Dimensional Latent Spaces: A Frequency Perspective},
author = {Bolin Lai and Xudong Wang and Saketh Rambhatla and James M. Rehg and Zsolt Kira and Rohit Girdhar and Ishan Misra},
journal= {arXiv preprint arXiv:2511.22249},
year = {2025}
}
备注
11 pages, 7 figures, 4 tables