为何 DiT 编辑器会漂移?在 VAE 潜空间中插入式低频对齐
计算机视觉与模式识别
2026-05-12 v1 人工智能
摘要
最近的扩散变换器 (DiT) 进展使得单轮图像编辑能力取得了令人振奋的成果。然而,多轮编辑常常导致渐进性语义漂移和质量下降。本文从潜空间频率视角研究此问题,将编辑过程分解为两个功能组件:VAE 和 DiT。通过在 VAE 潜空间中的系统性分析,我们发现 DiT 引入的主导低频漂移在编辑轮次之间累积,导致语义错位,而 VAE 贡献相对稳定的重建偏差。基于此洞见,我们提出了 VAE-LFA (Low Frequency Alignment),一种无需训练的插即用方法, performs 对齐于 VAE 潜空间中的低频。VAE-LFA 通过低通滤波分解编辑轮次之间的潜差,并将低频统计量对齐到前几轮的指数移动平均,从而有效抑制累积的语义漂移,同时保留高频细节。该方法无需重新训练、无需 ground-truth 先验,也无需访问扩散参数,使其适用于白盒和黑盒 DiT 编辑器。对于白盒模型,VAE-LFA 通过消除冗余的 VAE 往返集成到编辑管道中;对于黑盒模型,它通过即插即用的 VAE 执行跨轮次潜空间对齐。广泛的实验表明,VAE-LFA 在包括受控场景和野生图像在内的多种多轮编辑情景中,提高了语义一致性和视觉保真度。
引用
@article{arxiv.2605.08250,
title = {Why Do DiT Editors Drift? Plug-and-Play Low Frequency Alignment in VAE Latent Space},
author = {Xiaoce Wang and Sifan Zhou and Kaifei Wang and Leli Xu and Xuerui Qiu and Tao He and Ming Li},
journal= {arXiv preprint arXiv:2605.08250},
year = {2026}
}
备注
9 pages main paper, 12 figures, 25 pages in total