面向浅层 ReLU 神经网络的结构引导高斯-牛顿方法
机器学习
2025-07-22 v2 数值分析
数值分析
摘要
在本文中，我们提出了一种结构引导的高斯-牛顿（SgGN）方法，用于使用浅层 ReLU 神经网络求解最小二乘问题。该方法有效利用了目标函数的最小二乘结构与神经网络结构。通过将网络隐藏层和输出层的权重与偏置分别归类为非线性参数和线性参数，该方法在非线性参数与线性参数之间进行交替迭代。非线性参数通过阻尼高斯-牛顿方法更新，线性参数则通过线性求解器更新。此外，在高斯-牛顿步骤中，针对浅层 ReLU 神经网络推导了高斯-牛顿矩阵的特殊形式，并用于高效迭代。我们证明了在合理假设下，相应线性步骤和非线性步骤中的质量矩阵与高斯-牛顿矩阵是对称且正定的。因此，SgGN 方法自然产生有效的搜索方向，而无需像 Levenberg-Marquardt 方法中那样采用平移等额外技术来实现高斯-牛顿矩阵的可逆性。对于几个具有挑战性的函数逼近问题，尤其是那些对机器学习中常用训练算法构成重大挑战的具有不连续性或剧烈过渡层的问题，该方法的收敛性和准确性在数值上得到了验证。
引用
@article{arxiv.2404.05064,
title = {A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network},
author = {Zhiqiang Cai and Tong Ding and Min Liu and Xinyu Liu and Jianlin Xia},
journal= {arXiv preprint arXiv:2404.05064},
year = {2025}
}