利用 Hessian 迹随机估计量正则化深度神经网络
机器学习
2023-02-23 v2
摘要
在本文中，我们通过惩罚 Hessian 的迹为深度神经网络开发了一种新颖的正则化方法。该正则化器受近期泛化误差保证界的启发。我们解释了其在寻找平坦极小值和避免动力系统中的 Lyapunov 稳定性方面的益处。我们采用 Hutchinson 方法作为矩阵迹的经典无偏估计量，并进一步使用 dropout 方案加速其计算。实验表明，我们的方法优于现有的正则化器和数据增强方法，如 Jacobian、Confidence Penalty、Label Smoothing、Cutout 和 Mixup。
引用
@article{arxiv.2208.05924,
title = {Regularizing Deep Neural Networks with Stochastic Estimators of Hessian Trace},
author = {Yucong Liu and Shixing Yu and Tong Lin},
journal= {arXiv preprint arXiv:2208.05924},
year = {2023}
}