深入探究视频VAE的潜空间谱偏置以获得卓越的扩散性能
计算机视觉与模式识别
2025-12-08 v1
摘要
潜扩散模型将VAE与扩散主干配对，而VAE潜空间的结构强烈影响扩散训练的难度。然而，现有的视频VAE通常关注重建保真度，忽略了潜空间结构。我们对视频VAE潜空间进行了统计分析，并识别出对扩散训练至关重要的两个谱特性：偏向低频的时空频率谱，以及由少数模式主导的通道特征谱。为了引入这些特性，我们提出了两种轻量级、与主干无关的正则化器：局部相关性正则化和潜空间掩码重建。实验表明，我们的谱结构VAE（SSVAE）在文本到视频生成收敛上实现了 的加速，并在视频奖励上获得了 10\% 的提升，优于强大的开源VAE。代码可在 https://github.com/zai-org/SSVAE 获取。
引用
@article{arxiv.2512.05394,
title = {Delving into Latent Spectral Biasing of Video VAEs for Superior Diffusability},
author = {Shizhan Liu and Xinran Deng and Zhuoyi Yang and Jiayan Teng and Xiaotao Gu and Jie Tang},
journal= {arXiv preprint arXiv:2512.05394},
year = {2025}
}