卷积生成对抗网络中的空间频率偏置
机器学习
2020-12-21 v3 图像与视频处理
机器学习
摘要
随着生成对抗网络（GANs）在自然图像上的成功迅速推动其进入不同领域的多种实际应用，清晰理解其局限性变得愈发重要。具体而言，理解 GANs 在全部空间频率谱（即超越自然图像占主导的低频谱）上的能力，对于任何细节敏感应用（如医学与卫星图像中的去噪、填充与超分辨率）中评估 GAN 生成数据的可靠性至关重要。本文中，我们表明卷积 GANs 学习分布的能力受底层载波信号空间频率的显著影响，即 GANs 对学习高空间频率存在偏置。关键的是，我们表明该偏置并非自然图像中高频稀缺所致，而是阻碍高频学习的系统性偏置，无论其在数据集中是否突出。此外，我们解释了大规模 GANs 在自然图像上生成精细细节的能力并不使其免于该偏置的不利影响。最后，我们提出一种以最小计算开销操控此偏置的方法。该方法可用于将计算资源显式导向数据集中任意感兴趣的空间频率，扩展 GANs 的灵活性。
引用
@article{arxiv.2010.01473,
title = {Spatial Frequency Bias in Convolutional Generative Adversarial Networks},
author = {Mahyar Khayatkhoei and Ahmed Elgammal},
journal= {arXiv preprint arXiv:2010.01473},
year = {2020}
}