关于对抗损失输出激活函数的理论分析与 MNIST 分类实证研究
机器学习
2022-11-08 v3 机器学习
摘要
近年来，对抗损失已应用于许多领域。其应用已超越最初提出的生成式建模，扩展到条件生成和判别设置。尽管先前的工作提出了各种输出激活函数和正则化方法，但一些开放问题仍未得到解答。在本文中，我们旨在研究以下两个研究问题：1) 什么类型的输出激活函数能构成行为良好的对抗损失？2) 输出激活函数与正则化方法的不同组合在经验上相互比较表现如何？为了回答第一个问题，我们采用变分散度最小化的视角，并认为如果一个对抗损失表现为数据分布与模型分布之间类似散度的度量，则它是行为良好的。使用对抗损失的广义公式，我们推导了行为良好的对抗损失的充分必要条件。我们的分析揭示了一大类理论上有效的对抗损失。对于第二个问题，我们提出了一个使用判别对抗网络的对抗损失简单比较框架。所提出的框架允许我们使用诸如分类准确率等标准评估指标来高效评估对抗损失。利用所提出的框架，我们在手写数字分类问题上评估了十二种输出激活函数和十四种正则化方法组成的 168 种组合的综合集合，以解耦它们的效果。我们的实证发现表明，在所有设置中不存在单一制胜的输出激活函数与正则化方法组合。我们的理论和实证结果可共同作为未来研究中选择或设计对抗损失的参考。
引用
@article{arxiv.1901.08753,
title = {On Output Activation Functions for Adversarial Losses: A Theoretical Analysis via Variational Divergence Minimization and An Empirical Study on MNIST Classification},
author = {Hao-Wen Dong and Yi-Hsuan Yang},
journal= {arXiv preprint arXiv:1901.08753},
year = {2022}
}