面向生成对抗网络的特征统计混合正则化
计算机视觉与模式识别
2022-03-28 v2
摘要
在生成对抗网络中，改进判别器是提升生成性能的关键组成部分之一。由于图像分类器偏向纹理且去偏能提高准确率，我们研究了 1) 判别器是否存在偏差，以及 2) 对判别器去偏是否能提升生成性能。确实，我们发现了判别器对图像风格（如纹理和颜色）敏感的经验证据。作为补救措施，我们提出了特征统计混合正则化（FSMR），该方法促使判别器的预测对输入图像的风格保持不变。具体而言，我们在判别器的特征空间中生成原始图像与参考图像的混合特征，并施加正则化，使得对该混合特征的预测与对原始图像的预测保持一致。我们进行了大量实验，证明我们的正则化方法降低了判别器对风格的敏感性，并在九个数据集上持续提升了多种 GAN 架构的性能。此外，将 FSMR 添加到近期提出的基于数据增强的 GAN 方法中，进一步提高了图像质量。我们的代码可在 https://github.com/naver-ai/FSMR 获取。
引用
@article{arxiv.2112.04120,
title = {Feature Statistics Mixing Regularization for Generative Adversarial Networks},
author = {Junho Kim and Yunjey Choi and Youngjung Uh},
journal= {arXiv preprint arXiv:2112.04120},
year = {2022}
}
备注
Accepted to CVPR 2022. Our code is available at https://github.com/naver-ai/FSMR