理解对抗训练生成能力的统一对比能量模型
机器学习
2022-03-28 v1 计算机视觉与模式识别
机器学习
摘要
对抗训练(AT)被认为是增强深度神经网络鲁棒性的有效方法。近期研究者注意到,采用AT的鲁棒模型具备良好的生成能力并能合成逼真图像,但其背后原因尚待探索。本文通过提出一个称为对比能量模型(CEM)的统一概率框架,揭开了这一现象的神秘面纱。一方面,我们通过统一理解鲁棒性与生成能力,首次给出了AT的概率刻画。另一方面,我们的统一框架可扩展至无监督场景,将无监督对比学习解释为CEM的重要采样。基于此,我们提出了一种开发对抗学习与采样方法的原则性方案。实验表明,由我们的框架导出的采样方法在监督与无监督学习中均提升了样本质量。值得注意的是,我们的无监督对抗采样方法在CIFAR-10上取得了9.61的Inception分数,优于以往的能量模型并与最先进的生成模型相当。
引用
@article{arxiv.2203.13455,
title = {A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training},
author = {Yifei Wang and Yisen Wang and Jiansheng Yang and Zhouchen Lin},
journal= {arXiv preprint arXiv:2203.13455},
year = {2022}
}
备注
Accepted by ICLR 2022