Grassmannian几何与变量投影在神经网络中的全局收敛性
最优化与控制
2026-02-02 v1
摘要
训练深度神经网络和物理信息神经网络（PINNs）常常导致欠条件且刚性的优化问题。这些模型的一个关键结构特征是它们在输出层参数上是线性的、在隐藏层参数上是非线性的，导致可分离的非线性最小二乘形式。在本工作中，我们在深度神经网络的语境下研究经典变量投影（VarPro）方法。我们在Grassmannian上提供几何 formulation，并分析了简化问题中临界点结构和收敛性质。当特征图由神经网络参数化时，我们显示这些性质在秩不足的情形下除外，后者通过正则化Grassmannian框架加以处理。用于回归和PINNs的数值实验，包括一个高效的热方程求解器，说明了该方法在实际中的有效性。
引用
@article{arxiv.2601.22897,
title = {Grassmannian Geometry and Global Convergence of Variable Projection for Neural Networks},
author = {Mathias Dus},
journal= {arXiv preprint arXiv:2601.22897},
year = {2026}
}