面向自回归神经算子稳定性的研究
机器学习
2023-12-12 v2 数值分析
数值分析
流体动力学
摘要
神经算子已被证明是物理科学中建模时空系统的一种有前景的方法。然而，为大型系统训练这些模型可能颇具挑战，因为它们会带来显著的计算与内存开销——这些系统往往被迫依赖神经网络的自回归时间步进来预测未来的时间状态。虽然这能有效控制成本，但可能导致误差随时间无控制地增长并最终失稳。我们使用物理系统的典型神经算子模型分析了这种自回归误差增长的来源，并探索了缓解方法。我们引入了架构与应用特定的改进，使其能够在不大规模增加计算/内存开销的情况下，谨慎控制这些模型中诱发不稳定的操作。我们在多个科学系统上展示了结果，包括 Navier-Stokes 流体流动、旋转浅水以及高分辨率全球天气预报系统。我们证明，将我们的设计原则应用于神经算子，相较于这些系统的原始模型，可显著降低长期预报误差，并在无定性发散迹象的情况下延长可预测时间范围。我们开源了我们的 \href{https://github.com/mikemccabe210/stabilizing_neural_operators}{代码} 以保证可复现性。
引用
@article{arxiv.2306.10619,
title = {Towards Stability of Autoregressive Neural Operators},
author = {Michael McCabe and Peter Harrington and Shashank Subramanian and Jed Brown},
journal= {arXiv preprint arXiv:2306.10619},
year = {2023}
}