通过联合与独立成分分析在扩散模型中实现局部编辑
计算机视觉与模式识别
2024-09-04 v2 机器学习
摘要
扩散模型（DMs）的最新进展在视觉合成与编辑任务中取得了显著进步，使其成为生成对抗网络（GANs）的强劲竞争对手。然而，DMs 的潜空间并不像 GANs 那样被充分理解。最近的研究集中在利用去噪网络的瓶颈层对 DMs 的潜空间进行无监督语义发现，该层已被证明具有语义潜空间的特性。然而，这些方法仅限于发现全局属性。在本文中，我们解决了 DMs 中局部图像操作的挑战，并引入了一种无监督方法，以分解预训练 DMs 去噪网络学习到的潜在语义。给定任意图像和定义的感兴趣区域，我们利用去噪网络的雅可比矩阵在感兴趣区域及其在潜空间中对应的子空间之间建立关系。此外，我们解开了这些子空间的联合和独立成分，以识别能够实现局部图像操作的潜在方向。一旦被发现，这些方向就可以应用于不同的图像以产生语义一致的编辑，使我们的方法适用于实际应用。在各种数据集上的实验结果表明，与现有技术相比，我们的方法能够产生更局部化且保真度更高的语义编辑。
引用
@article{arxiv.2408.16845,
title = {Enabling Local Editing in Diffusion Models by Joint and Individual Component Analysis},
author = {Theodoros Kouzelis and Manos Plitsis and Mihalis A. Nicolaou and Yannis Panagakis},
journal= {arXiv preprint arXiv:2408.16845},
year = {2024}
}
备注
Accepted at BMVC2024