残差神经网络求解常微分方程的精度与结构研究
数值分析
2021-01-12 v1 机器学习
数值分析
动力系统
摘要
本文考虑利用残差神经网络（ResNet）求解常微分方程。采用随机梯度下降法获得网络权重与偏置的最优参数集。我们应用向前欧拉、二阶龙格-库塔和四阶龙格-库塔有限差分方法生成三套目标来训练 ResNet，并开展目标研究。训练良好的 ResNet 表现得与其对应的一步有限差分方法相同。具体而言，我们进行了（1）关于隐藏层数和每层神经元数的结构研究，以寻找最优 ResNet 结构；（2）目标研究，以验证 ResNet 求解器与其有限差分方法对应者一样精确；（3）解轨迹模拟。即使 ResNet 求解器看似并以类似于向前欧拉格式的方式实现，其精度也可与任意一步法一样高。给出了一系列数值算例以展示 ResNet 求解器的性能。
引用
@article{arxiv.2101.03583,
title = {Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations},
author = {Changxin Qiu and Aaron Bendickson and Joshua Kalyanapu and Jue Yan},
journal= {arXiv preprint arXiv:2101.03583},
year = {2021}
}