分层扩散自编码器与解耦图像操控
计算机视觉与模式识别
2023-04-26 v2 人工智能
摘要
扩散模型在图像合成上已获得令人印象深刻的视觉质量。然而，如何解释并操控扩散模型的潜空间尚未被广泛探索。已有工作扩散自编码器将语义表示编码进一个语义潜码，其未能反映丰富的细节信息与内在特征层次。为缓解这些局限，我们提出分层扩散自编码器（HDAE），其利用细粒度到抽象、低层到高层的特征层次来构建扩散模型的潜空间。HDAE 的分层潜空间内在地编码了不同抽象层级的语义，并提供了更全面的语义表示。此外，我们提出一种基于截断特征的解耦图像操控方法。我们通过大量实验及在图像重建、风格混合、可控插值、保细节与解耦图像操控以及多模态语义图像合成上的应用，证明了我们所提方法的有效性。
引用
@article{arxiv.2304.11829,
title = {Hierarchical Diffusion Autoencoders and Disentangled Image Manipulation},
author = {Zeyu Lu and Chengyue Wu and Xinyuan Chen and Yaohui Wang and Lei Bai and Yu Qiao and Xihui Liu},
journal= {arXiv preprint arXiv:2304.11829},
year = {2023}
}