用于求解常微分方程的无监督储备池计算
机器学习
2021-09-07 v1 神经与进化计算
计算物理
摘要
使用无监督神经网络求解微分方程正引起广泛兴趣。现有方法基于前馈网络，而循环神经网络微分方程求解器尚未见报道。我们引入了无监督储备池计算（RC），这是一种回声状态循环神经网络，能够发现满足常微分方程的近似解。我们提出了一种无需使用反向传播即可计算循环神经网络输出时间导数的方法。RC 的内部权重是固定的，仅训练线性输出层，从而实现高效训练。然而，RC 的性能强烈依赖于寻找最优超参数，这是一个计算成本高昂的过程。我们使用贝叶斯优化在高维超参数空间中高效发现最优集合，并数值证明某一集合具有鲁棒性，可用于求解不同初始条件和时间范围的 ODE。我们推导出了求解一阶线性方程的最优输出权重闭式公式，实现了无反向传播的学习过程。我们通过使用由梯度下降和贝叶斯优化组成的混合优化方法求解非线性 ODE 系统，扩展了 RC 方法。对线性和非线性方程系统的评估证明了 RC ODE 求解器的效率。
引用
@article{arxiv.2108.11417,
title = {Unsupervised Reservoir Computing for Solving Ordinary Differential Equations},
author = {Marios Mattheakis and Hayden Joy and Pavlos Protopapas},
journal= {arXiv preprint arXiv:2108.11417},
year = {2021}
}