用于深度神经网络优化的部分Hessian随机梯度下降
机器学习
2024-03-06 v1 最优化与控制
摘要
由于二阶算法在解决经典优化问题中的有效性，设计二阶优化器来训练深度神经网络（DNN）近年来引起了广泛的研究兴趣。然而，由于DNN中中间特征维度非常高，直接计算和存储Hessian矩阵用于网络优化是困难的。大多数先前的二阶方法不精确地近似Hessian信息，导致性能不稳定。在这项工作中，我们提出了一种复合优化器，它结合了使用精确部分Hessian矩阵更新通道级参数的二阶优化器和用于更新其他参数的一阶随机梯度下降（SGD）优化器。我们证明了通道级参数的相关Hessian矩阵是对角矩阵，并且可以直接从无Hessian方法中精确提取。所提出的方法，即部分Hessian随机梯度下降（SGD-PH），继承了一阶和二阶优化器的优点。与一阶优化器相比，它采用了一定量的Hessian矩阵信息来辅助优化，而与现有的二阶优化器相比，它保持了一阶优化器良好的泛化性能。在图像分类任务上的实验证明了我们提出的优化器SGD-PH的有效性。代码在https://github.com/myingysun/SGDPH上公开。
引用
@article{arxiv.2403.02681,
title = {SGD with Partial Hessian for Deep Neural Networks Optimization},
author = {Ying Sun and Hongwei Yong and Lei Zhang},
journal= {arXiv preprint arXiv:2403.02681},
year = {2024}
}