面向数据驱动深度神经网络与物理信息神经网络的优化器优化
机器学习
2022-05-17 v1
摘要
我们研究了优化器在决定参数规模从小到中等神经网络模型拟合质量中的作用。我们研究了 Adam(一种使用自适应动量的基于一阶梯度的优化算法)、Levenberg-Marquardt (LM) 算法(一种二阶方法)、Broyden-Fletcher-Goldfarb-Shanno 算法(BFGS,一种二阶方法)以及 LBFGS(BFGS 的低内存版本)的性能。使用这些优化器,我们用具有少量参数的神经网络拟合函数 y = sinc(10x)。该函数具有可变幅度和恒定频率。我们观察到函数的较高幅度分量先被拟合,而 Adam、BFGS 和 LBFGS 难以拟合函数的较低幅度分量。我们还使用 BFGS 和 LM 优化器通过物理信息神经网络(PINN)求解 Burgers 方程。对于具有中小规模权重数量的示例问题,我们发现 LM 算法能够快速收敛到机器精度,相较其他优化器具有显著优势。我们进一步用一系列模型研究 Adam 优化器,发现 Adam 优化器需要深得多的模型以及包含多达 26 倍更多参数的大量隐藏单元,才能达到接近 LM 优化器所实现的模型拟合。LM 优化器的结果表明,有可能构建参数少得多的模型。我们已在 Keras 和 TensorFlow 2 中实现了所有方法。
引用
@article{arxiv.2205.07430,
title = {Optimizing the optimizer for data driven deep neural networks and physics informed neural networks},
author = {John Taylor and Wenyi Wang and Biswajit Bala and Tomasz Bednarz},
journal= {arXiv preprint arXiv:2205.07430},
year = {2022}
}
备注
23 page, 12 figures