注意你的上卷积：基于 CNN 的生成式深度神经网络无法复现频谱分布
计算机视觉与模式识别
2020-03-05 v1 图像与视频处理
摘要
生成式卷积深度神经网络，例如流行的 GAN 架构，依赖基于卷积的上采样方法来产生图像或视频序列等非标量输出。本文中，我们表明常见的上采样方法，即所谓的上卷积或转置卷积，正导致此类模型无法正确复现自然训练数据的频谱分布。该效应与底层架构无关，并且我们表明它可被用于以公开基准上高达 100% 的准确率轻松检测如 deepfakes 之类的生成数据。为克服当前生成模型的这一缺陷，我们提议在训练优化目标中增加一个新的频谱正则化项。我们表明该方法不仅允许训练避免高频误差的频谱一致 GAN，而且还表明对频谱的正确近似对生成网络的训练稳定性与输出质量具有积极作用。
引用
@article{arxiv.2003.01826,
title = {Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions},
author = {Ricard Durall and Margret Keuper and Janis Keuper},
journal= {arXiv preprint arXiv:2003.01826},
year = {2020}
}