面向寻找平坦极小值的噪声稳定性优化：一种基于 Hessian 的正则化方法

近年来，过参数化神经网络的训练受到了大量研究关注。一个重要考量是由于其高度非凸和非线性的几何结构，需要对过参数化网络进行正则化。在本文中，我们研究了噪声注入算法，该算法可以对损失的 Hessian 进行正则化，从而得到具有平坦损失曲面的区域。具体而言，通过将各向同性高斯噪声注入神经网络的权重矩阵，我们可以获得 Hessian 迹的近似无偏估计。然而，通过在反向传播前将噪声添加到权重矩阵来朴素地实现噪声注入，其经验改进有限。为克服这一局限，我们设计了一种 Hessian 惩罚的两点估计，沿随机噪声的正方向和负方向将噪声注入权重矩阵。特别地，该两点估计消除了 Hessian 上一阶泰勒展开项的方差。我们给出了一个依赖于 Hessian 迹（以及权重空间半径）的 PAC-Bayes 泛化界，该界可从数据中测得。我们进行了详细的实验研究以验证我们的方法，并表明它能有效正则化 Hessian 并改善泛化。首先，我们的算法在锐度降低的训练上优于先前的方法，在六个图像分类数据集上微调 ResNet 时测试准确率提升高达 2.4%。此外，采用我们的方法后 Hessian 迹降低了 15.8%，最大特征值降低了 9.7%。我们还发现 Hessian 的正则化可与权重衰减和数据增强结合，带来更强的正则化效果。其次，我们的方法在预训练多模态 CLIP 模型和思维链微调中仍能有效地改善泛化。