向量化条件神经场：求解时变参数偏微分方程的框架
机器学习
2024-07-16 v2 人工智能
计算机视觉与模式识别
神经与进化计算
计算物理
摘要
Transformer模型越来越多地被用于求解偏微分方程(PDE)。已有多种改进方案被提出，但所有这些方案都存在Transformer的典型问题，例如二次内存和时间复杂度。此外，当前用于PDE求解的主流架构都至少缺乏理想替代模型应具备的若干期望特性中的一种，这些特性包括：(i) 泛化到训练中未见过的PDE参数，(ii) 空间和时间零样本超分辨率，(iii) 连续时间外推，(iv) 支持一维、二维和三维PDE，以及 (v) 长时间推演的高效推理。为解决这些局限性，我们提出了向量化条件神经场(VCNeFs)，它将时变PDE的解表示为神经场。然而，与先前方法不同，VCNeFs针对一组多个时空查询点，并行计算它们的解，并通过注意力机制建模它们的依赖关系。此外，VCNeF可以基于初始条件和PDE参数对神经场进行条件化。大量实验表明，VCNeFs与现有的基于ML的替代模型相比具有竞争力，并且常常优于它们。
引用
@article{arxiv.2406.03919,
title = {Vectorized Conditional Neural Fields: A Framework for Solving Time-dependent Parametric Partial Differential Equations},
author = {Jan Hagnberger and Marimuthu Kalimuthu and Daniel Musekamp and Mathias Niepert},
journal= {arXiv preprint arXiv:2406.03919},
year = {2024}
}
备注
Accepted for publication at the 41st International Conference on Machine Learning (ICML) 2024, Vienna, Austria; Project Page: https://jhagnberger.github.io/vectorized-conditional-neural-field/