用于解耦 GAN 控制的多属性平衡采样
机器学习
2022-01-28 v2 人工智能
计算机视觉与模式识别
摘要
从预训练 GAN 的潜空间中可提取对生成数据的多种控制,因其隐式编码了训练数据的语义。所发现的控制允许在生成图像中改变语义属性,但通常导致同时影响多个属性的纠缠编辑。监督方法通常对一组潜码进行采样与标注,然后在潜空间训练分类器以识别控制。由于 GAN 生成的数据反映了原始数据集的偏差,由此得到的语义控制亦然。我们提出通过对生成数据子采样以消除过度表示的共现属性,从而在训练分类器前平衡数据集的语义,以解决解耦问题。我们在两个流行的 GAN 架构 PGGAN 和 StyleGAN 以及两个数据集 CelebAHQ 和 FFHQ 上提取用于人脸操作的解耦线性方向,证明了该方法的有效性。我们表明该方法优于最先进的基于分类器的方法,同时避免了对解耦强制后处理的需要。
引用
@article{arxiv.2111.00909,
title = {Multi-Attribute Balanced Sampling for Disentangled GAN Controls},
author = {Perla Doubinsky and Nicolas Audebert and Michel Crucianu and Hervé Le Borgne},
journal= {arXiv preprint arXiv:2111.00909},
year = {2022}
}