用于偏微分方程求解器与深度神经网络耦合系统的信赖域方法
数值分析
2021-05-18 v1 数值分析
摘要
物理信息机器学习与反演建模需要求解病态非凸优化问题。一阶方法（如 SGD 与 ADAM）以及拟牛顿方法（如 BFGS 与 L-BFGS）已在涉及计算工程反问题中的深度神经网络的优化问题上取得一定成功。然而，经验证据表明这些方法的收敛性与精度仍具挑战。我们的研究揭示了这些方法在应用于偏微分方程（PDEs）与深度神经网络（DNNs）耦合系统时至少两个内在缺陷：（1）收敛通常缓慢且伴有长平台期，难以判断方法是否已收敛；（2）拟牛顿方法不能提供足够精确的 Hessian 矩阵近似；这通常导致过早终止（优化器的停止准则之一被满足，尽管所得误差远未最小）。基于这些观察，我们提出使用信赖域方法优化 PDEs 与 DNNs 的耦合系统。具体而言，我们开发了二阶物理约束学习算法，一种基于计算图高效计算 Hessian 矩阵的技术。我们表明信赖域方法克服了诸多缺陷，并相较 ADAM、BFGS 与 L-BFGS 展现出显著的快速收敛与更优精度。
引用
@article{arxiv.2105.07552,
title = {Trust Region Method for Coupled Systems of PDE Solvers and Deep Neural Networks},
author = {Kailai Xu and Eric Darve},
journal= {arXiv preprint arXiv:2105.07552},
year = {2021}
}