扩散模型已具备语义潜空间
计算机视觉与模式识别
2023-03-30 v2
摘要
扩散模型在多个领域取得了卓越的生成性能。尽管取得巨大成功,它们仍缺乏对于控制生成过程至关重要的语义潜空间。为解决该问题,我们提出非对称反向过程(Asyrp),其在冻结的预训练扩散模型中发掘语义潜空间。我们所称的 h-space 的语义潜空间具备良好的性质以适配语义图像操控:同质性、线性、鲁棒性,以及跨时间步的一致性。此外,我们引入一种原则性的生成过程设计,通过可量化度量实现多功能编辑与质量提升:区间的编辑强度与时间步的质量缺陷。我们的方法适用于多种架构(DDPM++、iDDPM 和 ADM)与数据集(CelebA-HQ、AFHQ-dog、LSUN-church、LSUN-bedroom 和 METFACES)。项目主页:https://kwonminki.github.io/Asyrp/
引用
@article{arxiv.2210.10960,
title = {Diffusion Models already have a Semantic Latent Space},
author = {Mingi Kwon and Jaeseok Jeong and Youngjung Uh},
journal= {arXiv preprint arXiv:2210.10960},
year = {2023}
}
备注
ICLR2023 (Notable - Top 25%)