Poseidon: 面向偏微分方程的高效基础模型
机器学习
2024-11-06 v2
摘要
我们提出了Poseidon，一个用于学习偏微分方程解算子的基础模型。它基于多尺度算子Transformer，并采用时间条件层归一化以实现连续时间评估。我们还提出了一种新颖的训练策略，利用时间相关偏微分方程的半群性质来显著扩展训练数据规模。Poseidon在流体动力学控制方程的多样化大规模数据集上进行了预训练，然后在包含多种偏微分方程类型和算子的15个具有挑战性的下游任务上进行了评估。我们表明，Poseidon在样本效率和准确性方面均显著优于基线，表现出卓越的整体性能。Poseidon还能很好地泛化到预训练中未见的新物理现象。此外，Poseidon在模型和数据规模上均表现出可扩展性，无论是预训练还是下游任务。综合来看，我们的结果展示了Poseidon在预训练期间从非常小的偏微分方程集合中学习有效表示，从而很好地泛化到下游未见且不相关的偏微分方程的惊人能力，证明了其作为有效、通用的偏微分方程基础模型的潜力。最后，Poseidon模型以及底层的预训练和下游数据集均已开源，代码可在https://github.com/camlab-ethz/poseidon获取，预训练模型和数据集可在https://huggingface.co/camlab-ethz获取。
关键词
引用
@article{arxiv.2405.19101,
title = {Poseidon: Efficient Foundation Models for PDEs},
author = {Maximilian Herde and Bogdan Raonić and Tobias Rohner and Roger Käppeli and Roberto Molinaro and Emmanuel de Bézenac and Siddhartha Mishra},
journal= {arXiv preprint arXiv:2405.19101},
year = {2024}
}