物理导向变换器(PGT)：针对 PINNs 的物理感知注意力机制
机器学习
2026-03-31 v1 人工智能
摘要
从稀疏、不规则观察中重建连续物理场是科学机器学习中的核心挑战，尤其是对于由偏微分方程(PDEs)控制的系统。现有的物理信息方法通常将支配方程作为软惩罚项在优化过程中强制执行，往往导致梯度不平衡、不稳定和在数据有限时物理一致性下降。我们引入物理导向变换器(PGT)，一种将物理结构直接嵌入自注意力机制中的神经网络架构。具体而言，PGT 将基于热核推导的加法偏置嵌入注意力logits中，编码扩散动力学和时间因果性于表示之内。查询坐标注意力于这些物理条件化上下文标记，结果特征通过 FiLM 调制的正弦隐式网络解码，以适应性地控制谱响应。我们在一维热方程和二维不可压缩纳维-斯托克斯系统上对 PGT 进行评估。在稀疏 1D 重建中使用 100 个观察点时，PGT 实现了相对 L2 误差为 5.9e-3，显著优于 PINN 和正弦表示。 在 2D 圆柱尾流问题中，PGT 独特地实现了低 PDE 残差(8.3e-4)和具竞争力的相对误差(0.034)，超越仅优化一个目标的方法。这些结果表明，在注意力机制中嵌入物理结构可在数据稀缺条件下提高稳定性、泛化性和物理保真度。
引用
@article{arxiv.2603.27929,
title = {Physics-Guided Transformer (PGT): Physics-Aware Attention Mechanism for PINNs},
author = {Ehsan Zeraatkar and Rodion Podorozhny and Jelena Tešić},
journal= {arXiv preprint arXiv:2603.27929},
year = {2026}
}