中文

BWLer: 重心权重层揭示物理信息神经网络的精度-条件数权衡

机器学习 2025-07-01 v1 人工智能 数值分析 数值分析

摘要

物理信息神经网络提供了一种使用机器学习求解偏微分方程的灵活方式,但其精度仍远未达到许多科学任务所需的机器精度。在这项工作中,我们研究了精度上限是源于偏微分方程的病态性还是典型的多层感知机架构。我们引入了重心权重层(BWLer),它通过重心多项式插值来建模偏微分方程的解。BWLer可以添加到现有MLP之上(BWLer-hat)或完全替换它(显式BWLer),从而清晰地将我们表示解的方式与为偏微分方程损失求导的方式分离开来。使用BWLer,我们识别出MLP内部的基本精度限制:在一个简单的一维插值任务中,即使在添加任何偏微分方程项之前,具有O(1e5)参数的MLP的RMSE也停滞在约1e-8——比float64机器精度高出约八个数量级。在偏微分方程学习中,添加BWLer打破了这一上限,并揭示了可达到的精度与偏微分方程损失的条件数之间的权衡。对于线性偏微分方程,我们通过显式的误差分解完全表征了这种权衡,并在训练过程中使用谱导数和预条件处理来导航它。在五个基准偏微分方程上,在MLP之上添加BWLer将对流方程的RMSE提高了30倍,反应方程提高了10倍,波动方程提高了1800倍,同时保持与一阶优化器的兼容性。完全替换MLP使得显式BWLer在对流、反应和波动问题上达到接近机器精度的水平(比先前结果好高达100亿倍),并在刚性Burgers方程和不规则几何Poisson问题上匹配标准PINN的性能。这些发现共同指出了将PINN的灵活性与经典谱求解器的精度相结合的实际路径。

关键词

引用

@article{arxiv.2506.23024,
  title  = {BWLer: Barycentric Weight Layer Elucidates a Precision-Conditioning Tradeoff for PINNs},
  author = {Jerry Liu and Yasa Baig and Denise Hui Jean Lee and Rajat Vadiraj Dwaraknath and Atri Rudra and Chris Ré},
  journal= {arXiv preprint arXiv:2506.23024},
  year   = {2025}
}

备注

Workshop for the Theory of AI for Scientific Computing @ COLT 2025 (Best Paper). 39 pages, 24 figures