SEA：面向基于物理的Transformer的状态交换注意力
机器学习
2024-10-31 v2 人工智能
摘要
当前使用顺序网络的方法在估计动力学系统的场变量方面显示出前景，但常受到高滚动误差的限制。滚动误差累积的未解决问题导致网络在预测更远时间内时估计不可靠，每一步的误差都会累积并导致不准确性的增加。本文引入了状态交换注意力（State-Exchange Attention, SEA）模块，这是一个新的基于Transformer的模块，通过多头交叉注意力实现编码场之间的信息交换。该跨场多向信息交换设计使系统中的所有状态变量能够相互交换信息，捕捉场之间的物理关系和对称性。此外，我们引入了一种高效的类似ViT的网格自编码器，用于生成大量网格单元的空间一致网格嵌入。SEA集成的Transformer在其他竞争基线上实现了最先进的滚动误差。具体而言，我们相较于PbGMR-GMUS Transformer-RealNVP和GMR-GMUS Transformer，误差分别降低了88%和91%。此外，我们展示了SEA模块本身可以将高度依赖于系统其他状态的状态变量的误差降低97%。本工作的仓库地址为：https://github.com/ParsaEsmati/SEA
引用
@article{arxiv.2410.15495,
title = {SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers},
author = {Parsa Esmati and Amirhossein Dadashzadeh and Vahid Goodarzi and Nicolas Larrosa and Nicolò Grilli},
journal= {arXiv preprint arXiv:2410.15495},
year = {2024}
}
备注
Accepted in 38th Conference on Neural Information Processing Systems (NeurIPS 2024)