SympFormer：基于密度流形上的惯性动力学加速注意力块
机器学习
2026-03-18 v1 最优化与控制
机器学习
摘要
Transformer 在自然语言处理中的实证成功很大程度上归功于自注意力块。最近的视角将注意力块解释为相互作用粒子系统，其平均场极限对应于 Wasserstein-2 度量型度量空间上相互作用能量泛函的梯度流。我们扩展了这一观点，通过引入基于密度空间惯性 Nesterov 型动力学所导出的加速注意力块。在我们提出的体系结构中，token 同时携带空间 (feature) 和速度变量。时间离散化和加速密度动力学的近似结果产生哈密顿动量注意力块，构成我们提出的加速注意力架构。特别地，对于线性自注意力，我们展示注意力块近似于势能的 Stein 变分梯度流，使用双线性核函数。在此设置下，我们证明了椭圆棱柱概率分布由加速注意力块保持。我们提出可实现的基于粒子的算法，演示所提出的加速注意力块在保持 oracle 调用次数不变的前提下收敛速度快于经典注意力块。
引用
@article{arxiv.2603.16535,
title = {SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds},
author = {Viktor Stein and Wuchen Li and Gabriele Steidl},
journal= {arXiv preprint arXiv:2603.16535},
year = {2026}
}
备注
24 pages, 2 figures, 3 tables, comments welcome!