通过注意力表示与冲突消解梯度实现物理信息神经网络的架构-优化协同设计
机器学习
2026-01-21 v1
摘要
物理信息神经网络 通过将控制物理定律嵌入神经网络训练，为求解偏微分方程 提供了一个基于学习的框架。然而在实践中，其性能往往受限于表示能力不足以及由相互竞争的物理约束和冲突梯度引起的优化困难。在本工作中，我们从统一的架构-优化视角研究 PINN 训练。我们首先提出了一种逐层动态注意力机制以增强表示灵活性，构成了逐层动态注意力 PINN (LDA-PINN)。然后，我们将 PINN 训练重新表述为多任务学习问题，并引入冲突消解梯度更新策略以缓解梯度干扰，构成了梯度冲突消解 PINN (GC-PINN)。通过整合这两个组件，我们开发了架构冲突消解 PINN (ACR-PINN)，它将注意力表示与冲突感知优化相结合，同时保留了标准的 PINN 损失公式。在基准 PDE（包括 Burgers、Helmholtz、Klein-Gordon 和顶盖驱动方腔流问题）上的大量实验表明，ACR-PINN 实现了更快的收敛速度，并且相对 和 误差显著低于标准 PINN。这些结果突出了架构-优化协同设计在提升基于 PINN 的求解器的鲁棒性和准确性方面的有效性。
引用
@article{arxiv.2601.12971,
title = {Architecture-Optimization Co-Design for Physics-Informed Neural Networks Via Attentive Representations and Conflict-Resolved Gradients},
author = {Pancheng Niu and Jun Guo and Qiaolin He and Yongming Chen and Yanchao Shi},
journal= {arXiv preprint arXiv:2601.12971},
year = {2026}
}