Flowers:神态 PDE 求解器的纤带驱动
机器学习
2026-03-06 v1
摘要
我们引入 Flowers,一种用于学习 PDE 求解算子的数据驱动神经架构,完全由多头纤带(warps)构成。除了点积通道混合和多尺度骨架外,Flowers 不使用傅里叶乘子、不使用点积注意力,也不使用卷积混合。每个头预测位移场并对混合后的输入特征进行仿射变换。受物理和计算效率的启发,位移在点上预测,不进行任何空间聚合,局部性仅通过每个头一个源坐标的稀疏采样引入。将纤带堆叠到多尺度残差块中构成 Flowers,它们实现线性成本下的自适应全局相互作用。我们通过三个互补视角从理论上阐释此设计:保守定律的流图、各向异性介质中的波,以及动力学理论的连续极限。Flowers 在广泛的 2D 和 3D 时间依赖 PDE 基准测试中表现优异,尤其是流动和波。规模为 1700 万参数的紧凑模型在大小相似的傅里叶、卷积和注意力基线上持续领先,1.5 亿参数的变体在参数、数据和训练计算量远超的近期基于变换器的基础模型上也表现更佳。
关键词
引用
@article{arxiv.2603.04430,
title = {Flowers: A Warp Drive for Neural PDE Solvers},
author = {Till Muser and Alexandra Spitzer and Matti Lassas and Maarten V. de Hoop and Ivan Dokmanić},
journal= {arXiv preprint arXiv:2603.04430},
year = {2026}
}