一种通用的神经网络线性化子空间精化框架

神经网络主要使用基于梯度的方法进行训练，但在许多应用中，其最终预测仍远未达到模型表达能力所能实现的精度。我们引入了线性化子空间精化（Linearized Subspace Refinement, LSR），这是一个通用且与架构无关的框架，它利用在固定训练网络状态下的雅可比诱导线性残差模型。通过在该子空间内求解一个降阶的直接最小二乘问题，LSR 计算出线性化残差模型的子空间最优解，从而产生一个精化的线性预测器，其精度相比标准梯度训练解有显著提升，且无需修改网络架构、损失函数或训练过程。在监督函数逼近、数据驱动算子学习和物理信息算子微调中，我们表明，即使局部线性化产生了一个凸问题，基于梯度的训练也常常无法达到这种可达精度。这一观察表明，损失诱导的数值病态，而非非凸性或模型表达能力，可能构成主要实际瓶颈。相比之下，单次 LSR 系统地揭示了梯度训练未能充分利用的精度水平，经常实现数量级的误差降低。对于具有复合损失结构的算子约束问题，我们进一步引入了迭代 LSR，它将单次 LSR 与监督非线性对齐交替进行，将病态的残差最小化转化为数值上良态的拟合步骤，从而加速收敛并提高精度。通过在固定线性化点处连接非线性神经表示与降阶线性求解器，LSR 为监督学习、算子学习和科学计算提供了一个数值上可靠且广泛适用的精化框架。