HiPreNets：通过分阶段训练实现高精度神经网络

深度神经网络是解决科学和工程中非线性问题的强大工具，但随着问题复杂度的增加，训练高度准确的模型变得具有挑战性。非凸优化和对超参数的敏感性使得持续的性能提升变得困难，传统方法侧重于最小化均方误差，忽略了在安全敏感应用中至关重要的 $L^{\infty}$ 范数误差。为解决这些挑战，我们提出了 HiPreNets，这是一个通过顺序残差细化训练高精度神经网络的分阶段框架。从初始网络开始，每一阶段在目前集合的归一化残差上训练细化网络，系统性地减少平均误差和最坏情况误差。框架中的一个关键主题是集中训练资源于输入域中高误差区域，我们通过包括损失函数设计、自适应数据抽样、局部分块和边界感知训练等互补技术来实现这一目标。我们在 Feynman 数据集中的基准回归问题上验证了该框架，始终优于标准全连接网络和已报告的 Kolmogorov-Arnold 网络结果，准确率可达机器精度，具体取决于所选问题。我们进一步将该框架应用于学习20维电力系统 ODE 的流图，这似乎是该类多阶段方法中研究的最高维数问题，通过在 RMSE 和 $L^{\infty}$ 范数误差之间实现显著的减少，同时实现了比直接数值仿真快 238 倍的预测系统状态的替代方案。