探究高频分量在 GANs 训练中的作用
计算机视觉与模式识别
2021-12-01 v2
摘要
生成对抗网络（GANs）能够生成在视觉上与真实图像难以区分的图像。然而，近期研究揭示生成图像与真实图像在频域上存在显著差异。本文探究高频分量在 GANs 训练中的作用。根据我们的观察，在大多数 GANs 的训练过程中，严重的高频差异使判别器过度关注高频分量，阻碍生成器拟合对学习内容至关重要的低频分量。为此，我们提出两种简单而有效的频域操作以消除 GANs 训练中高频差异带来的副作用：高频混淆（HFC）与高频滤波（HFF）。所提操作具有通用性，能以极小代价应用于大多数现有 GANs。所提操作的优越性能在多种损失函数、网络架构与数据集上得到验证。具体而言，所提 HFF 在基于 SNGAN 的 CelebA（128*128）无条件生成上取得 FID 的提升，在基于 SSGAN 的 CelebA 无条件生成上取得 FID 的提升，在基于 InfoMAXGAN 的 CelebA 无条件生成上取得 FID 的提升。
引用
@article{arxiv.2103.11093,
title = {Exploring The Effect of High-frequency Components in GANs Training},
author = {Ziqiang Li and Pengfei Xia and Xue Rui and Bin Li},
journal= {arXiv preprint arXiv:2103.11093},
year = {2021}
}