偏微分方程数值算法与神经网络之间的关联
数值分析
2022-03-22 v2 机器学习
数值分析
摘要
我们研究了偏微分方程(PDEs)数值算法与神经网络架构之间的众多结构性联系。我们的目标是将PDE领域中丰富的数学基础迁移到神经网络中。除结构性见解外,我们还提供了所得架构的具体示例与实验评估。以一维广义非线性扩散为例,我们考虑了显式格式及其加速策略、隐式格式以及多重网格方法。我们将这些概念与残差网络、循环神经网络和U-net架构相联系。我们的发现启发了一种具有可证明稳定性保证的对称残差网络设计,并从数值角度论证了神经网络中跳跃连接的有效性。此外,我们提出了实现多重网格技术的U-net架构,用于学习偏微分方程模型的高效解,并为非常规设计选择(如可训练非单调激活函数)提供动机。实验评估表明,所提架构节省了半数可训练参数,从而能在相同模型复杂度下优于标准架构。我们的考量有助于解释流行神经架构的成功,并为开发新的数学上严谨的神经网络基本构件提供了蓝图。
引用
@article{arxiv.2107.14742,
title = {Connections between Numerical Algorithms for PDEs and Neural Networks},
author = {Tobias Alt and Karl Schrader and Matthias Augustin and Pascal Peter and Joachim Weickert},
journal= {arXiv preprint arXiv:2107.14742},
year = {2022}
}