AOT-POT：面向大规模偏微分方程预训练的自适应算子变换
机器学习
2026-05-18 v1
摘要
在多样化的偏微分方程（PDE）数据集上预训练神经算子，已成为科学机器学习中构建通用代理模型的一个有前景的方向。然而，PDE 解算子固有的复杂性和结构多样性使得多 PDE 预训练从根本上具有挑战性。现有方法主要通过增加模型容量来解决此问题，而保持目标解算子不变。受经典数值分析的启发，我们转而提出将复杂多样的解算子转换为更简单、更对齐的形式，以便于联合建模。由于最优变换因 PDE 类型而异，它必须是自适应的且依赖于输入，从而允许单个神经算子逼近整个算子族。我们将这一思想实例化为 AOT-POT（面向预训练算子 Transformer 的自适应算子变换），它将隐藏表示扩展为多个并行流，在每个子层前后自适应地聚合和重新分配这些流，并通过 Sinkhorn 投影的双随机矩阵混合流以实现稳定训练。这些机制共同将多样的解算子重塑为可由单一架构有效建模的统一形式。经验表明，AOT-POT 在 12 个 PDE 基准测试上仅增加 3% 的参数就取得了最先进的性能，相对 L2 误差最多降低 77.6%（平均降低 40.9%）。微调 AOT-POT 进一步将域内 PDE 的 L2 误差最多降低 92%，域外 PDE（预训练期间未见过的类型）的 L2 误差最多降低 89%，表明自适应算子变换是推进 PDE 基础模型超越简单扩展模型容量的一个有效且互补的方向。
引用
@article{arxiv.2605.15793,
title = {AOT-POT: Adaptive Operator Transformation for Large-Scale PDE Pre-training},
author = {Qitan Lv and Hong Wang and Zhongkai Hao and Wen Wu and Xuenan Xu and Bowen Zhou and Feng Wu and Chao Zhang},
journal= {arXiv preprint arXiv:2605.15793},
year = {2026}
}