DPOT：用于大规模 PDE 预训练的自回归去噪算子 Transformer
机器学习
2024-05-08 v4 数值分析
数值分析
摘要
预训练已被研究用于提高数据稀缺环境下神经算子训练的效率和性能。然而，由于偏微分方程 (PDEs) 数据固有的复杂性和多样性（如长轨迹、多尺度和变化的维度），该领域仍处于起步阶段。在本文中，我们提出了一种新的自回归去噪预训练策略，该策略允许在 PDE 数据上进行更稳定高效的预训练，并能泛化至各种下游任务。此外，通过设计基于傅里叶注意力的灵活且可扩展的模型架构，我们可以轻松扩展模型以进行大规模预训练。我们在 10 多个 PDE 数据集（包含超过 10 万条轨迹）上训练了参数量高达 0.5B 的 PDE 基础模型。大量实验表明，我们在这些基准测试中达到了 SOTA，并验证了我们的模型具有强大的泛化能力，能显著提升包括 3D 数据在内的多样化下游 PDE 任务的性能。代码地址：\url{https://github.com/thu-ml/DPOT}。
引用
@article{arxiv.2403.03542,
title = {DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training},
author = {Zhongkai Hao and Chang Su and Songming Liu and Julius Berner and Chengyang Ying and Hang Su and Anima Anandkumar and Jian Song and Jun Zhu},
journal= {arXiv preprint arXiv:2403.03542},
year = {2024}
}