通过对抗训练从模拟与无监督图像中学习
计算机视觉与模式识别
2017-07-21 v2 机器学习
神经与进化计算
摘要
随着图形学领域的最新进展，在合成图像上训练模型变得更加可行，从而有可能避免昂贵的标注需求。然而，由于合成图像与真实图像分布之间存在差距，从合成图像中学习可能无法达到预期的性能。为了缩小这一差距，我们提出了模拟+无监督（S+U）学习，其任务是学习一个模型，利用无标签的真实数据来提升模拟器输出的真实感，同时保留来自模拟器的标注信息。我们开发了一种 S+U 学习方法，该方法使用类似于生成对抗网络（GANs）的对抗网络，但以合成图像而非随机向量作为输入。我们对标准 GAN 算法进行了几项关键修改，以保留标注、避免伪影并稳定训练：(i) 一个“自正则化”项，(ii) 一个局部对抗损失，以及 (iii) 使用精炼图像的历史记录来更新判别器。我们表明这能够生成高度逼真的图像，并通过定性分析和用户研究进行了论证。我们通过训练用于视线估计和手势估计的模型，对生成的图像进行了定量评估。我们表明，与使用合成图像相比取得了显著提升，并在无需任何真实标注数据的情况下，在 MPIIGaze 数据集上取得了当前最优（state-of-the-art）的结果。
引用
@article{arxiv.1612.07828,
title = {Learning from Simulated and Unsupervised Images through Adversarial Training},
author = {Ashish Shrivastava and Tomas Pfister and Oncel Tuzel and Josh Susskind and Wenda Wang and Russ Webb},
journal= {arXiv preprint arXiv:1612.07828},
year = {2017}
}
备注
Accepted at CVPR 2017 for oral presentation