复用判别器进行编码：迈向无监督图像到图像翻译
计算机视觉与模式识别
2020-03-31 v6
摘要
无监督图像到图像翻译是计算机视觉中的核心任务。当前的翻译框架在训练过程完成后会弃用判别器。本文通过将判别器复用为目标域图像编码，提出了判别器的一种新角色。所提出的架构称为 NICE-GAN，相较先前方法展现出两种优势模式：第一，它更紧凑，因为无需独立的编码组件；第二，该插件式编码器直接由对抗损失训练，若应用多尺度判别器，则使其更具信息性且训练更有效。NICE-GAN 的主要问题在于沿编码器的翻译与判别耦合，当我们通过 GAN 进行极小极大博弈时可能引发训练不一致。为解决此问题，我们开发了一种解耦训练策略，据此编码器仅在最大化对抗损失时被训练，其余时刻保持冻结。在四个流行基准上的大量实验证明了 NICE-GAN 在 FID、KID 以及人类偏好方面优于最先进方法的性能。还进行了全面的消融实验以隔离各提出组件的有效性。我们的代码可在 https://github.com/alpc91/NICE-GAN-pytorch 获取。
引用
@article{arxiv.2003.00273,
title = {Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation},
author = {Runfa Chen and Wenbing Huang and Binghui Huang and Fuchun Sun and Bin Fang},
journal= {arXiv preprint arXiv:2003.00273},
year = {2020}
}
备注
Accepted to CVPR 2020