使用扩散模型探索基于风格的 GAN 中的属性变化
计算机视觉与模式识别
2023-11-28 v1
摘要
现有的属性编辑方法将语义属性视为二元的，导致每个属性仅有单一编辑。然而，诸如眼镜、微笑或发型等属性展现出极大的多样性。在本工作中，我们通过建模属性编辑的多维性质，形式化了\textit{多样化属性编辑}任务。这使得用户能够为每个属性生成多个合理的编辑。我们利用预训练 GAN 的解耦隐空间，并训练去噪扩散概率模型（DDPM）来学习多样化编辑的隐分布。具体而言，我们在通过嵌入具有单一属性变化的图像对所获得的编辑隐方向数据集上训练 DDPM。这导致了能够实现多样化属性编辑的隐子空间。在高度压缩的隐空间中应用扩散，使我们能够在有限计算资源下建模丰富的编辑分布。通过在多个数据集上进行的广泛定性与定量实验，我们证明了我们的方法在多样化属性编辑上的有效性。我们还展示了将该方法应用于各种人脸属性 3D 编辑的结果。
引用
@article{arxiv.2311.16052,
title = {Exploring Attribute Variations in Style-based GANs using Diffusion Models},
author = {Rishubh Parihar and Prasanna Balaji and Raghav Magazine and Sarthak Vora and Tejan Karmali and Varun Jampani and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2311.16052},
year = {2023}
}
备注
Neurips Workshop on Diffusion Models 2023