Zebra：基于零样例生成预训练求解参数化偏微分方程
机器学习
2025-06-30 v3
摘要
求解时依赖参数的偏微分方程（PDE）对数据驱动方法构成挑战，因为这些模型必须适应系数、外力项和初始条件等参数的变化。最先进的神经类比器通过梯度基于优化和元学习进行适应，以隐式编码观察中各种动力学的变化。这往往伴随更高的推理复杂度。灵感来源于大型语言模型（LLM）的零样例学习能力，我们引入Zebra，一种 novel 的自回归变换器，旨在无需推理时进行梯度适应来求解参数化PDE。通过在预训练和推理期间利用零样例信息，Zebra能够通过对包含上下文示例轨迹的输入序列进行条件化，动态适应新的任务。作为生成模型，Zebra可用于生成新的轨迹，并允许对预测不确定性进行量化。我们在多种具有挑战性的PDE场景中对Zebra进行评估，展示了其适应性、鲁棒性和优异性能。
引用
@article{arxiv.2410.03437,
title = {Zebra: In-Context Generative Pretraining for Solving Parametric PDEs},
author = {Louis Serrano and Armand Kassaï Koupaï and Thomas X Wang and Pierre Erbacher and Patrick Gallinari},
journal= {arXiv preprint arXiv:2410.03437},
year = {2025}
}