位置知识即所需: 面向算子学习的位置诱导 Transformer (PiT)
机器学习
2024-05-17 v1 数值分析
数值分析
摘要
偏微分方程(PDEs)的算子学习正快速成为复杂系统代理建模的有前景的方法。最初为自然语言处理设计的具备自注意力机制的 Transformer——一种强大工具——最近被适用于算子学习。然而,它们面临计算需求高且解释性有限的挑战。这引发了一个关键问题: Transformer 基于算子学习是否存在更高效的注意力机制?本文提出位置诱导 Transformer (PiT),基于创新的位置注意力机制,在算子学习中显著优于经典自注意力。位置注意力受求解 PDE 方法的启发,不同于自注意力,位置注意力仅由输入函数算子所采样位置之间的空间关系诱导,不依赖于输入函数值本身,从而大幅提升效率。PiT 在各种复杂算子学习任务 across diverse PDE benchmarks 中表现优于当前最先进的神经算子。此外,PiT 具备增强的离散收敛特征,相较于广泛使用的傅里叶神经算子。
关键词
引用
@article{arxiv.2405.09285,
title = {Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning},
author = {Junfeng Chen and Kailiang Wu},
journal= {arXiv preprint arXiv:2405.09285},
year = {2024}
}