通过对抗模型扰动正则化神经网络
机器学习
2021-05-10 v4 人工智能
机器学习
摘要
在深度学习中，有效的正则化技术对于缓解过拟合和提升泛化能力极为重要。本工作提出了一种新的正则化方案，其基于如下认识：经验风险的平坦局部极小值使模型具有更好的泛化能力。该方案称为对抗模型扰动（AMP），其中不是直接最小化经验风险，而是通过 SGD 最小化一种替代的“AMP 损失”。具体而言，AMP 损失是在经验风险上对每个参数空间中的点施加“最坏”范数有界扰动而得到。与大多数现有正则化方案相比，AMP 具有强有力的理论依据，因为理论上可证明最小化 AMP 损失有利于经验风险的平坦局部极小值。在各种现代深度架构上的大量实验确立了 AMP 作为正则化方案中新的最先进水平。我们的代码可在 https://github.com/hiyouga/AMP-Regularizer 获取。
引用
@article{arxiv.2010.04925,
title = {Regularizing Neural Networks via Adversarial Model Perturbation},
author = {Yaowei Zheng and Richong Zhang and Yongyi Mao},
journal= {arXiv preprint arXiv:2010.04925},
year = {2021}
}
备注
16 pages, 13 figures, accepted to CVPR2021