神经网络的输入 Hessian 正则化
机器学习
2020-09-15 v1 机器学习
摘要
正则化输入梯度已被证明能有效提升神经网络的鲁棒性。因此，对输入 Hessian 的正则化是一个自然的下一步。此处的一个关键挑战是计算复杂度。计算输入的 Hessian 在计算上不可行。本文提出一种高效算法，以 Hessian 算子范数正则化训练深度神经网络。我们从理论上分析该方法，并证明 Hessian 算子范数与神经网络抵御对抗攻击的能力相关。我们在 MNIST 和 FMNIST 数据集上给出了初步实验评估，表明新正则化器确实可行，且相较于输入梯度正则化进一步提升了神经网络的鲁棒性。
引用
@article{arxiv.2009.06571,
title = {Input Hessian Regularization of Neural Networks},
author = {Waleed Mustafa and Robert A. Vandermeulen and Marius Kloft},
journal= {arXiv preprint arXiv:2009.06571},
year = {2020}
}
备注
Workshop on "Beyond first-order methods in ML systems" at the 37th International Conference on Machine Learning, Vienna, Austria, 2020