用于训练深层神经网络的精确高斯-牛顿优化
机器学习
2025-10-16 v2 机器学习
摘要
我们提出了 Exact Gauss-Newton (EGN)，这是一种随机二阶优化算法，将通用高斯-牛顿(GN) Hessian 近似与低秩线性代数相结合来计算下降方向。利用 Duncan-Guttman 矩阵恒等式，我们通过对大小为 mini-batch 的矩阵进行分解来获得参数更新。这在神经网络参数向量维度远大于小批量大小的大规模机器学习问题中尤为有利。此外，我们展示了诸如线搜索、自适应正则化和动量等改进如何无缝地添加到 EGN 中以进一步加速算法。此外，在温和假设下，我们证明了该算法在期望意义上收敛到目标的 stationary point。最后，我们的数值实验表明，EGN 在各种监督学习和强化学习任务中，始终超过或最多匹配经过精调的 SGD、Adam、GAF、SQN 和 SGN 优化器的泛化性能。
引用
@article{arxiv.2405.14402,
title = {Exact Gauss-Newton Optimization for Training Deep Neural Networks},
author = {Mikalai Korbit and Adeyemi D. Adeoye and Alberto Bemporad and Mario Zanon},
journal= {arXiv preprint arXiv:2405.14402},
year = {2025}
}
备注
Accepted to Neurocomputing (2025). This version corresponds to the accepted manuscript; minor formatting edits for arXiv single-column layout (34 pages, 3 figures, 8 tables)