最大更新参数化与 Fourier 神经算子中的零样本超参数迁移
机器学习
2025-06-25 v1
摘要
Fourier 神经算子 (FNO) 提出了一种原则化的方法来解决复杂偏微分方程 (PDE)。然而，将其扩展到处理更复杂的 PDE 需要增加傅里叶模式的数量，这显著扩大了模型参数的规模，并使超参数调谋在计算上不可行。为此，我们提出 Transfer-FNO，一种零样本超参数迁移技术，使在较小 FNO 上调谐的 optimal 配置可直接应用于数十亿参数的 FNO，而无需额外调谋。基于最大更新参数化 (P) 框架，我们数学推导了一种参数化方案，以便在 FNO 中具有不同傅里叶模式数的模型之间迁移最优超参数，这一方法通过 various PDEs 上的大量实验进行了验证。我们的实证研究表明，Transfer-FNO 在大型 FNO 上减少了超参数调谋的计算成本，同时保持或提高准确性。
引用
@article{arxiv.2506.19396,
title = {Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators},
author = {Shanda Li and Shinjae Yoo and Yiming Yang},
journal= {arXiv preprint arXiv:2506.19396},
year = {2025}
}
备注
ICML 2025