面向时依赖偏微分方程的记忆建模优势
机器学习
2025-04-25 v2 人工智能
摘要
数据驱动的方法日益成为求解偏微分方程 (PDE) 的传统数值方法的有前景的替代方案。对于时依赖的PDE，许多方法是马尔可夫式的——即训练系统的演化仅依赖于当前状态，而非过去的状态。在本工作中，我们探讨了使用记忆来建模时依赖PDE的优势：即显式使用过去的状态来预测未来状态。受到Mori-Zwanzig模型简化理论的启发，我们在理论上展示了简单（甚至是线性）PDE的示例，其中使用记忆的解决方案在马尔可夫式解决方案之上任意好。此外，我们引入了Memory Neural Operator (MemNO)，一种神经算子架构，将最新状态空间模型（具体而言是S4）和傅里叶神经算子（FNO）结合起来有效地建模记忆。我们经验上表明，当PDE以低分辨率提供或在训练和测试时包含观测噪声时，MemNO显著优于没有记忆的基线——在测试误差上可实现最高6倍的降低。 Furthermore，我们表明，这一优势在PDE解具有显著高频傅里叶模式（例如，低粘度流体动力学）时尤为显著，我们构建了一个包含此类PDE的具有挑战性的基准数据集。
引用
@article{arxiv.2409.02313,
title = {On the Benefits of Memory for Modeling Time-Dependent PDEs},
author = {Ricardo Buitrago Ruiz and Tanya Marwah and Albert Gu and Andrej Risteski},
journal= {arXiv preprint arXiv:2409.02313},
year = {2025}
}