基于消息传递转换器的物理仿真学习

物理仿真的机器学习方法在近年来取得了显著的成功。我们提出了一种基于图神经网络的全新通用架构——消息传递转换器（Message Passing Transformer），其包含消息传递框架，采用编码器-处理器-解码器结构，并将图傅里叶损失（Graph Fourier Loss）作为模型优化的损失函数。为了利用过去的消息传递状态信息，我们提出了哈达德积注意力（Hadamard-Product Attention）来更新处理器中的节点属性。哈达德积注意力是点积注意力的一种变体，侧重于对更细粒度的语义进行关注，并强调在每个特征维度上而非在序列中相对于其他位置的每个位置上分配注意力权重。我们进一步引入图傅里叶损失（GFL）来平衡高能量和低能量成分。为提高时间性能，我们在训练过程中预计算图的拉普拉斯特征向量。我们的架构在Lagrangian 和Eulerian 动力系统的长期滚动预测中实现了显著的精度提升，优于当前方法。