Tadpole：面向3D偏微分方程的自编码器基础模型及在线学习
机器学习
2026-05-18 v1
摘要
我们提出Tadpole，这是一种用于三维偏微分方程（PDE）的新型基础模型，旨在解决转移性、高维度可扩展性以及多功能性等关键挑战。Tadpole以自编码器方式在由高效在线数据生成框架生成的合成3D PDE数据上进行预训练。通过这种方式，能够进行大规模、多样化的训练，无需存储或I/O开销，实际等效于数百TB的训练数据。通过对单个通道空间裁切进行自编码，Tadpole在具有异构性物理系统之间学习到丰富且可迁移的表示，这些系统的状态变量数量和空间分辨率各不相同。虽然仅以自编码器进行预训练，但Tadpole可以高效地应用于重建之外的多个下游任务，包括动力学学习和生成建模。对于动力学学习，我们提出了一种新颖的参数高效微调策略，集成低秩适配、潜在空间转换和重新引入的跳跃连接，实现了准确的时序建模，同时只需极少的可训练参数。Tadpole在各种下游任务上 demonstrate出强大的微调性能，凸显其作为3D PDE学习基础模型的通用性和有效性。Tadpole的源代码和预训练权重已提供：https://github.com/tum-pbs/tadpole
引用
@article{arxiv.2605.15284,
title = {Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning},
author = {Qiang Liu and Felix Koehler and Benjamin Holzschuh and Nils Thuerey},
journal= {arXiv preprint arXiv:2605.15284},
year = {2026}
}