DeCo: 频率解耦像素扩散用于端到端图像生成
计算机视觉与模式识别
2026-04-09 v2 人工智能
摘要
像素扩散旨在以端到端的方式直接在像素空间生成图像。该方法避免了两阶段隐式扩散中 VAE 的局限性，提供了更高的模型容量。现有的像素扩散模型面临训练和推理缓慢的问题，因为它们通常在一个扩散变换器 (DiT) 中同时建模高频信号和低频语义。为追求更高效的像素扩散范式，我们提出了频率解耦像素扩散框架。基于解耦高频与低频分量生成的思路，我们利用一个轻量级像素解码器，在 DiT 提供的语义引导下生成高频细节。这使得 DiT 能够专注于建模低频语义。此外，我们引入了一种频率感知流匹配损失，强调视觉显著频率同时抑制不显著频率。大量实验表明，DeCo 在像素扩散模型中取得了优越性能，在 ImageNet 上达到 FID 1.62 (256x256) 和 2.22 (512x512)，缩小了与隐式扩散方法的差距。此外，我们的预训练文本到图像模型在 GenEval 系统级比较中取得了 0.86 的领先总体得分。代码已公开发布于 https://github.com/Zehong-Ma/DeCo。
引用
@article{arxiv.2511.19365,
title = {DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation},
author = {Zehong Ma and Longhui Wei and Shuai Wang and Shiliang Zhang and Qi Tian},
journal= {arXiv preprint arXiv:2511.19365},
year = {2026}
}
备注
Accepted to CVPR2026. Project Page: https://zehong-ma.github.io/DeCo. Code Repository: https://github.com/Zehong-Ma/DeCo