DualVAE：控制生成图像与真实图像的颜色
计算机视觉与模式识别
2023-05-31 v1 机器学习
摘要
颜色可控的图像生成与编辑对艺术家和平面设计师而言颇具价值。带有自回归（AR）先验的矢量量化变分自编码器（VQ-VAEs）能够生成高质量图像，但缺乏控制颜色属性的显式表示机制。我们提出 DualVAE，一种混合表示模型，通过学习颜色与几何的解耦表示来提供此类控制。几何由识别结构特征的图像强度映射表示。该解耦表示通过两种新机制获得：（i）将图像颜色属性与几何属性分离的 dual branch 架构，以及（ii）训练颜色与几何组合表示的新型 ELBO。DualVAE 能够控制生成图像的颜色，并通过迁移从示例图像获得的颜色隐表示来为已有图像重新上色。我们证明，在包括动画人脸、标志与艺术风景在内的多样化数据集上，DualVAE 生成图像的 FID 近乎优于 VQ-GAN 两倍。
引用
@article{arxiv.2305.18769,
title = {DualVAE: Controlling Colours of Generated and Real Images},
author = {Keerth Rathakumar and David Liebowitz and Christian Walder and Kristen Moore and Salil S. Kanhere},
journal= {arXiv preprint arXiv:2305.18769},
year = {2023}
}