弱监督下条件 GAN 中类内变异的控制
计算机视觉与模式识别
2020-12-22 v2 人工智能
机器学习
摘要
生成对抗网络（GANs）能够学习简单、相对低维的随机分布与图像空间中真实图像流形上的点之间的映射。然而，该映射的语义通常是纠缠在一起的，使得有意义的图像属性无法彼此独立地控制。条件 GAN（cGANs）为这一问题提供了潜在的解决方案，允许在训练期间强制特定的语义。然而，该解决方案依赖于精确标签的可用性，而这类标签有时难以或几乎不可能获得，例如表示光照条件或描述背景的标签。在本文中，我们引入了一种新的 cGAN 公式，能够学习语义上有意义变异的解纠缠多变量模型，并且其优势在于仅需要二元属性标签的弱监督。例如，仅给定环境光/非环境光标签，我们的方法就能学习与身份和姿态等其他因素解纠缠的多变量光照模型。我们将该方法称为类内变异隔离（IVI），由此得到的网络称为 IVI-GAN。我们在 CelebA 数据集和合成 3D 可变形模型数据上评估了 IVI-GAN，学习解纠缠诸如光照、姿态、表情甚至背景等属性。
引用
@article{arxiv.1811.11296,
title = {Taking Control of Intra-class Variation in Conditional GANs Under Weak Supervision},
author = {Richard T. Marriott and Sami Romdhani and Liming Chen},
journal= {arXiv preprint arXiv:1811.11296},
year = {2020}
}