通过权重尺度平移不变正则化提升神经网络的泛化与鲁棒性
机器学习
2022-06-09 v2 机器学习
摘要
在神经网络中使用权重衰减来惩罚权重的 L2 范数一直是正则化网络复杂度的标准训练做法。在本文中，我们表明包括权重衰减在内的一类正则化器，对于具有正齐次激活函数（如线性、ReLU 和最大池化函数）的网络，无法有效惩罚权重的内在范数。由于齐次性，网络所指定的函数对层间权重尺度的平移是不变的。这些无效的正则化器对此类平移敏感，因而不能很好地正则化模型容量，导致过拟合。为解决这一缺陷，我们提出了一种对权重尺度平移不变的改进正则化器，从而有效约束神经网络的内在范数。所导出的正则化器是网络输入梯度的上界，因此最小化该改进正则化器也有利于对抗鲁棒性。我们还考虑了残差连接，并证明我们的正则化器也构成此类残差网络输入梯度的上界。我们在多种数据集和神经网络架构上展示了所提正则化器在改善泛化与对抗鲁棒性方面的功效。
引用
@article{arxiv.2008.02965,
title = {Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations},
author = {Ziquan Liu and Yufei Cui and Antoni B. Chan},
journal= {arXiv preprint arXiv:2008.02965},
year = {2022}
}
备注
14 pages, 5 figures, Accepted by ICML 2021 Workshop on Adversarial Machine Learning