F-Drop&Match：在高频域设有死区的 GAN
计算机视觉与模式识别
2021-08-19 v2 机器学习
图像与视频处理
摘要
基于深度卷积神经网络构建的生成对抗网络（GANs）缺乏精确复现自然图像高频分量的能力。为缓解此问题，我们引入两种新颖训练技术：频率丢弃（F-Drop）与频率匹配（F-Match）。F-Drop 的核心思想是从判别器输入图像中滤除不必要的高频分量。这一简单修改防止判别器被高频分量的扰动所混淆。此外，F-Drop 使 GANs 聚焦于拟合自然图像主导分量所在的低频域。F-Match 最小化真实与生成图像在频域的差异以生成更逼真图像。F-Match 作为正则项置于生成器目标函数中，惩罚频域的批量均值误差。F-Match 帮助生成器将经 F-Drop 滤除的高频域拟合至真实图像。我们通过实验证明，在多个图像基准上，F-Drop 与 F-Match 的结合提升了 GANs 在频域与空域的生成性能。
引用
@article{arxiv.2106.02343,
title = {F-Drop&Match: GANs with a Dead Zone in the High-Frequency Domain},
author = {Shin'ya Yamaguchi and Sekitoshi Kanai},
journal= {arXiv preprint arXiv:2106.02343},
year = {2021}
}
备注
Accepted to ICCV 2021; Added experiments on StyleGAN2-ADA