用于函数逼近与物理信息逆问题的幂增强残差网络
机器学习
2024-07-10 v2 计算机视觉与模式识别
偏微分方程分析
摘要
在本研究中，我们探究了前向运算中的权重更新与反向传播中的梯度计算如何影响神经网络的优化过程、训练流程及整体性能，尤其是多层感知机（MLPs）。本文受高速网络与残差网络启发，引入一种称为幂增强残差网络的新神经网络结构，旨在提升网络在二维与三维环境下对光滑及非光滑函数的逼近能力。通过将幂项融入残差单元，该架构增强了权重更新的稳定性，从而促进更好的收敛与精度。研究探讨了网络深度、宽度及优化方法，展示了该架构的适应性与性能优势。一致地，结果强调了所提幂增强残差网络尤为针对非光滑函数的卓越精度。真实案例也证实了其在精度、收敛与效率上优于普通神经网络。此外，所提架构还被应用于求解逆Burgers方程，展现出优越性能。总之，幂增强残差网络提供了一种通用方案，通过强调稳定权重更新对深度神经网络有效训练的重要性，显著增强了神经网络能力。所实现代码见：\url{https://github.com/CMMAi/ResNet_for_PINN}。
引用
@article{arxiv.2310.15690,
title = {Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems},
author = {Amir Noorizadegan and D. L. Young and Y. C. Hon and C. S. Chen},
journal= {arXiv preprint arXiv:2310.15690},
year = {2024}
}