通过类与层-wise VAE 实现语义图像合成与编辑的多样化
计算机视觉与模式识别
2021-06-30 v2 图形学
摘要
语义图像合成是从单一语义掩码生成逼真图像的过程。为丰富多模态图像合成的多样性，先前方法通过学习单一潜空间来控制输出图像的全局外观。然而，单一潜码常不足以捕捉各种对象风格，因为对象外观依赖于多重因素。为处理决定对象风格的各项因素，我们提出变分自编码器（VAE）框架的类与层-wise 扩展，通过学习多个潜空间，实现对每个对象类从局部到全局层次的灵活控制。此外，我们通过三个不同领域的真实与合成数据集上的大量实验证明，与最先进（state-of-the-art）方法相比，我们的方法生成的图像既合理又更具多样性。我们也展示我们的方法在图像合成与编辑任务中具有广泛的应用。
引用
@article{arxiv.2106.13416,
title = {Diversifying Semantic Image Synthesis and Editing via Class- and Layer-wise VAEs},
author = {Yuki Endo and Yoshihiro Kanamori},
journal= {arXiv preprint arXiv:2106.13416},
year = {2021}
}
备注
Accepted to Pacific Graphics 2020, codes available at https://github.com/endo-yuki-t/DiversifyingSMIS