PINNs的误差收敛与工程引导超参数搜索：面向优化的I-FENN性能
机器学习
2023-07-05 v2
摘要
在我们近期提出的集成有限元神经网络（I-FENN）框架（Pantidis和Mobasher，2023）中，我们展示了如何在有限元层级上部署PINNs以快速近似感兴趣的状态变量，并将其应用于非局部梯度增强损伤力学。本文通过关注I-FENN中PINN组件的两个关键方面来提升其严谨性与性能：a）误差收敛分析；b）超参数-性能关系。在领域现有理论公式引导下，我们基于一组新颖的整体性能度量，引入一种系统性数值方法来达成这两个目标。对于第一个目标，我们详细探究了PINN训练误差和全局误差相对于网络规模与训练样本规模的收敛性。我们证明了对于任意所研究的网络复杂度、数据集规模和超参数组合，两类误差均呈现一致收敛行为，这从经验上证明了PINN设置与实现符合现有收敛理论。对于第二个目标，我们建立了有利于更高预测精度、更低计算代价及最小陷入平凡解风险的超参数先验知识。该分析得出若干有助于提升I-FENN性能的结果，并填补了PINN文献中在考虑常用优化器（Adam和L-BFGS）时网络误差数值收敛方面的长期空白。所提分析方法可直接推广至科学与工程中的其他机器学习应用。分析所用代码与数据已公开，以促进本研究复现与拓展。
引用
@article{arxiv.2303.03918,
title = {Error convergence and engineering-guided hyperparameter search of PINNs: towards optimized I-FENN performance},
author = {Panos Pantidis and Habiba Eldababy and Christopher Miguel Tagle and Mostafa E. Mobasher},
journal= {arXiv preprint arXiv:2303.03918},
year = {2023}
}