GAN 内模态坍缩的黑盒诊断与校准:一项初步研究
机器学习
2021-07-27 v1
摘要
生成对抗网络(GANs)如今已能生成极为逼真的图像。一个令人担忧的问题是,最先进的 GAN 所学分布是否仍受模态坍缩之苦,以及若如此该如何应对。现有针对 GAN 样本多样性测试通常小规模定性进行,和/或依赖于对原始训练数据及训练后模型参数的访问。本文探索在一种新颖的黑盒设定下诊断 GAN 内模态坍缩并对其进行校准:假定无法访问训练数据,也无法访问训练后的模型参数。这一新设定具有实际需求,却鲜有探索且极具挑战性。作为初步尝试,我们设计了一套基于采样的统计工具,可可视化、量化并纠正内模态坍缩。我们通过大量仿真与实验,在无条件 GAN 图像生成(如人脸与车辆)上证明了所提诊断与校准技术的有效性。我们的研究揭示,内模态坍缩在最先进 GAN 中仍是一个普遍问题,且模态坍缩在黑盒设定下是可诊断与可校准的。我们的代码见:https://github.com/VITA-Group/BlackBoxGANCollapse。
引用
@article{arxiv.2107.12202,
title = {Black-Box Diagnosis and Calibration on GAN Intra-Mode Collapse: A Pilot Study},
author = {Zhenyu Wu and Zhaowen Wang and Ye Yuan and Jianming Zhang and Zhangyang Wang and Hailin Jin},
journal= {arXiv preprint arXiv:2107.12202},
year = {2021}
}
备注
This paper has been accepted by Transactions on Multimedia Computing Communications and Applications (TOMM) for publication in 2021