生成对抗网络中的风格与内容解耦
计算机视觉与模式识别
2018-11-15 v1
摘要
在数据内部分离变异因素已成为图像生成任务中极具挑战性的问题。当前训练生成对抗网络（GAN）的框架以无监督方式学习解耦数据表示，并捕获数据变异中最显著的因素。然而，这些方法忽略了图像生成中内容与风格解耦的原则，这意味着它们学习到的潜码可能同时改变生成图像的内容与风格。本文描述了风格与内容解耦 GAN（SC-GAN），一种用于训练 GAN 的新型无监督算法，可学习数据解耦的风格与内容表示。我们假设图像的表示可分解为表示数据几何信息的内容码，以及捕获纹理属性的风格码。因此，通过固定潜表示中的风格部分，我们可以以特定风格生成多样化图像。反之，我们可以设定内容码并以多种风格生成特定场景。所提出的 SC-GAN 有两个组件：作为生成器输入的内容码，以及通过修改自适应实例归一化（AdaIN）层参数来改变场景风格的风格码。我们在一组基线数据集上评估了所提出的 SC-GAN 框架。
引用
@article{arxiv.1811.05621,
title = {Style and Content Disentanglement in Generative Adversarial Networks},
author = {Hadi Kazemi and Seyed Mehdi Iranmanesh and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:1811.05621},
year = {2018}
}
备注
WACV 2019