长颈鹿能变成鸟吗？面向数据生成的图像到图像翻译评估
计算机视觉与模式识别
2020-06-02 v2
摘要
图像到图像翻译日益受到关注，其应用范围从由卫星图像生成地图，到仅由轮廓生成完整的衣物图像。在本工作中，我们研究使用生成对抗网络（GANs）进行图像到图像翻译以生成新数据，并以将长颈鹿图像变形为鸟图像作为案例研究。将长颈鹿变形为鸟是一项具有挑战性的任务，因为它们具有不同的尺度、纹理和形态。一个名为InstaGAN的无监督跨域翻译器在长颈鹿与鸟及其各自掩码上训练，以学习两个域之间的翻译。通过从原始长颈鹿图像进行翻译并保留原始空间排布与背景，生成了一个合成鸟图像数据集。需要强调的是，所生成的鸟并不存在，仅是InstaGAN学习到的潜表示的产物。两个常用文献数据集的子集被用于训练GAN并生成翻译图像：COCO与Caltech-UCSD Birds 200-2011。为评估生成图像与掩码的真实性与质量，我们进行了定性与定量分析。在定量分析中，一个预训练的Mask R-CNN被用于在对Pascal VOC、Caltech-UCSD Birds 200-2011以及我们名为FakeSet的新数据集上的鸟进行检测与分割。所生成的数据集取得了接近真实数据集的检测与分割结果，表明生成图像足够真实，可被最先进的深度神经网络检测与分割。
引用
@article{arxiv.2001.03637,
title = {Can Giraffes Become Birds? An Evaluation of Image-to-image Translation for Data Generation},
author = {Daniel V. Ruiz and Gabriel Salomon and Eduardo Todt},
journal= {arXiv preprint arXiv:2001.03637},
year = {2020}
}
备注
Accepted for presentation at the Computer on the Beach (COTB'20) 2020