面向高保真扩散逆变的潜在偏置对齐
计算机视觉与模式识别
2026-03-26 v1 人工智能
摘要
最近的研究表明，文本到图像扩散模型能够受文本提示引导生成高质量图像。但它们能否用于从种子噪声生成或近似真实世界图像？这被称为扩散逆变问题，作为桥接扩散模型与真实场景的基本构建单元。然而，现有的扩散逆变方法常常因重构质量低或鲁棒性差而受限。需要仔细解决两个主要挑战：(1) 扩散过程中逆变与生成轨迹的错位，(2) 扩散逆变过程与 VQ 自动编码器 (VQAE) 重构之间的不匹配。为此，我们在每个逆变步骤引入一个潜在偏置向量，该向量学习以减少逆变与生成轨迹之间的错位。我们将此策略称为潜在偏置优化 (LBO)。此外，我们对扩散逆变和 VQAE 重构过程进行近似联合优化，通过学习调整图像潜在表示来实现这一点，该表示作为两者之间的接口。我们将此技术称为图像潜在提升 (ILB)。大量实验结果表明，所提出的方法显著改善了扩散模型的图像重构质量，以及下游任务的性能，包括图像编辑和稀有概念生成。
引用
@article{arxiv.2603.23903,
title = {Latent Bias Alignment for High-Fidelity Diffusion Inversion in Real-World Image Reconstruction and Manipulation},
author = {Weiming Chen and Qifan Liu and Siyi Liu and Yushun Tang and Yijia Wang and Zhihan Zhu and Zhihai He},
journal= {arXiv preprint arXiv:2603.23903},
year = {2026}
}