SyncGAN：同步跨模态生成对抗网络的潜空间
计算机视觉与模式识别
2018-04-03 v1
摘要
生成对抗网络（GAN）在跨域生成上已取得令人瞩目的成功，但由于异构数据之间缺乏共同分布，其在跨模态生成方面面临困难。现有基于条件的跨模态GAN方法大多采用单向迁移策略，并在文本到图像迁移上取得了初步成功。与学习不同模态间的迁移不同，我们旨在学习一个表示跨模态共同概念的同步潜空间。本文提出一种名为同步器（synchronizer）的新型网络组件，用于判断配对数据是否同步/对应，从而约束GAN中生成器的潜空间。我们的GAN模型称为SyncGAN，能够由相同的随机噪声成功生成同步数据（例如一对图像与声音）。为了将一种模态的数据转换为另一种模态，我们通过反演生成器的映射来恢复潜码，并用其生成不同模态的数据。此外，所提模型可实现半监督学习，使我们的模型在实际应用中更加灵活。
引用
@article{arxiv.1804.00410,
title = {SyncGAN: Synchronize the Latent Space of Cross-modal Generative Adversarial Networks},
author = {Wen-Cheng Chen and Chien-Wen Chen and Min-Chun Hu},
journal= {arXiv preprint arXiv:1804.00410},
year = {2018}
}
备注
9 pages, Part of this work is accepted by IEEE International Conference on Multimedia Expo 2018