理解对抗正则化在监督学习中的作用
机器学习
2020-10-02 v1 计算机视觉与模式识别
最优化与控制
机器学习
摘要
尽管大量尝试提供对抗正则化优于单纯监督的实证证据，对此类现象的理论理解仍不明晰。本研究中，我们旨在从根本层面厘清对抗正则化是否确实优于单纯监督。为实现此洞见，我们在单纯监督与对抗正则化的背景下研究梯度消失问题、渐近迭代复杂度、梯度流与可证收敛。关键要素是一个由实证支持的对抗加速梯度下降的理论依据。此外，受近期引入的基于单元级容量的泛化界启发，我们分析了对抗框架下的泛化误差。受观察引导，我们对该度量解释泛化的能力存疑。因此我们留作开放问题以探索能解释对抗学习中泛化行为的新度量。此外，我们在对比对抗学习与单纯监督时，观察到神经嵌入向量空间中的有趣现象。
引用
@article{arxiv.2010.00522,
title = {Understanding the Role of Adversarial Regularization in Supervised Learning},
author = {Litu Rout},
journal= {arXiv preprint arXiv:2010.00522},
year = {2020}
}
备注
Under Review