迁移神经进化能否易处理地求解你的微分方程?
神经与进化计算
2021-05-06 v2 计算物理
摘要
本文引入神经进化用于求解微分方程。解通过优化一个深度神经网络获得,其损失函数由微分方程的残差项定义。近期研究聚焦于通过随机梯度下降(SGD)变体学习此类物理信息神经网络,但因优化困难而难以获得精确解。在求解微分方程的背景下,我们面临寻找网络全局最优参数的问题,而非关注样本外泛化。沿单一梯度方向搜索的SGD易于陷入局部最优,因此在此处未必是最佳方法。相比之下,神经进化对多样解进行并行探索以规避局部最优,有可能以更优优化的神经网络找到更精确的解。然而,神经进化可能较慢,在实践中引发易处理性问题。有鉴于此,本文提出一种新颖且计算高效的迁移神经进化算法。我们的方法能够在求解新问题时利用相关经验先验,并通过自适应来防范负迁移风险。该算法应用于多种微分方程,经验性地证明迁移神经进化确实比SGD取得更好精度与更快收敛。实验结果由此确立迁移神经进化为求解微分方程的一种值得关注的方法,这是过往从未被研究过的。我们的工作扩展了用于优化物理信息神经网络的可用算法资源。
引用
@article{arxiv.2101.01998,
title = {Can Transfer Neuroevolution Tractably Solve Your Differential Equations?},
author = {Jian Cheng Wong and Abhishek Gupta and Yew-Soon Ong},
journal= {arXiv preprint arXiv:2101.01998},
year = {2021}
}