状态空间模型是用于动力系统的精确且高效的神经算子
机器学习
2025-01-28 v2 数值分析
动力系统
数值分析
机器学习
摘要
物理信息机器学习（PIML）已成为预测动力系统的一种有希望的替代经典方法，提供了更快、更具泛化性的解决方案。然而，现有模型（包括循环神经网络（RNN）、transformers 和神经算子）面临着长时积分、长程依赖、混沌动力学和外推等挑战。为此，本文介绍了在 Mamba 中实现的状态空间模型，用于精确且高效的动力系统算子学习。Mamba 通过动态捕获长程依赖并通过重参数化技术提高计算效率，解决了现有架构的局限性。为了广泛测试 Mamba 并与另外 11 个基线进行比较，我们引入了几个超越标准插值基准的严格外推测试平台。我们展示了 Mamba 在插值和具有挑战性的外推任务中的卓越性能。Mamba 始终名列前茅模型，同时保持最低的计算成本和出色的外推能力。此外，我们展示了 Mamba 在定量系统药理学实际应用中的良好性能，用于评估有限数据场景下药物对肿瘤生长的疗效。综上所述，我们的发现突出了 Mamba 作为推进动力系统建模中科学机器学习的强大工具的潜力。（代码将在被接受后公开于 https://github.com/zheyuanhu01/State_Space_Model_Neural_Operator。）
引用
@article{arxiv.2409.03231,
title = {State-space models are accurate and efficient neural operators for dynamical systems},
author = {Zheyuan Hu and Nazanin Ahmadi Daryakenari and Qianli Shen and Kenji Kawaguchi and George Em Karniadakis},
journal= {arXiv preprint arXiv:2409.03231},
year = {2025}
}
备注
38 pages