将局部感知注意力集成到用于通用几何 PDE 的 Transformer 中
机器学习
2025-04-21 v1 人工智能
计算与语言
摘要
神经算子已成为学习偏微分方程 (PDE) 映射的有前景的框架，作为数据驱动的传统数值方法的替代方案。虽然傅里叶神经算子 (FNO) 等方法已展示了显著性能，但其对均匀网格的依赖限制了其适用于复杂几何和不规则网格的能力。最近，基于 Transformer 的神经算子配备线性注意力机制在克服大规模 PDE 模拟中的这些限制方面显示出潜力。然而，这些方法主要强调全局特征聚合，往往忽视对于准确解答必需的细尺度动力学和局部 PDE 行为。为此，我们提出一种局部感知注意力 Transformer (LA2Former)，其利用 K 最近邻进行动态 patch 化，并集成全局-局部注意力以增强 PDE 模型。通过结合用于高效全局上下文编码的线性注意力和用于捕捉复杂局部相互作用的成对注意力，LA2Former 在计算效率和预测准确性之间实现了最佳平衡。广泛的评估在六个基准数据集上表明，LA2Former 相对于现有线性注意力方法的预测准确性提高了超过 50%，同时在最佳条件下也优于完全成对注意力。本工作强调了在解决复杂和不规则域上的 PDE 中，局部特征学习对推进基于 Transformer 的神经算子至关重要。
关键词
引用
@article{arxiv.2504.13480,
title = {Integrating Locality-Aware Attention with Transformers for General Geometry PDEs},
author = {Minsu Koh and Beom-Chul Park and Heejo Kong and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2504.13480},
year = {2025}
}
备注
Accepted by IJCNN 2025