一种基于数据同化的新型神经网络训练框架
机器学习
2020-10-07 v1 人工智能
摘要
近年来，深度学习的繁荣使人工神经网络发生革命性变化。然而，学习算法中对梯度的依赖以及离线训练机制阻碍了 ANN 的进一步提升。本研究提出一种基于数据同化的无梯度训练框架，以避免梯度计算。在数据同化算法中，预报与观测之间的误差协方差被用于优化参数。前馈神经网络 (FNNs) 分别通过梯度下降、数据同化算法（集合卡尔曼滤波 (EnKF) 与多重数据同化的集合平滑器 (ESMDA)）训练。ESMDA 通过利用所有可用观测更新参数，以预定义迭代训练 FNN，可视为离线学习。EnKF 在新观测可用时更新参数以优化 FNN，可视为在线学习。设定回归 Sine 函数与 Mexican Hat 函数的两个合成案例以验证所提框架的有效性。均方根误差 (RMSE) 与决定系数 (R2) 用作评估不同方法性能的标准。结果表明所提训练框架优于梯度下降方法。所提框架为现有 ANN（如卷积神经网络、循环神经网络）的在线/离线训练提供了不依赖梯度的替代方案。
引用
@article{arxiv.2010.02626,
title = {A Novel Neural Network Training Framework with Data Assimilation},
author = {Chong Chen and Qinghui Xing and Xin Ding and Yaru Xue and Tianfu Zhong},
journal= {arXiv preprint arXiv:2010.02626},
year = {2020}
}