利用参数引导通道注意力学习神经偏微分方程求解器
机器学习
2023-07-24 v2 计算工程、金融与科学
计算物理
流体动力学
地球物理
摘要
科学机器学习 关注的是开发由偏微分方程 支配的物理系统的学习型模拟器。在天气预报、分子动力学和逆向设计等应用领域中，基于机器学习的代理模型越来越多地被用来增强或取代低效且通常不可微的数值模拟算法。尽管近年来已经提出了许多基于机器学习的方法来近似求解 PDE，但它们通常无法适应 PDE 的参数，这使得难以泛化到训练期间未见过的 PDE 参数。我们提出了一种由 PDE 参数嵌入 (CAPE) 引导的通道注意力机制，用于神经代理模型，以及一种简单而有效的课程学习策略。CAPE 模块可以与神经 PDE 求解器结合，使其能够适应未见过的 PDE 参数。课程学习策略在教师强制和完全自回归训练之间提供了无缝过渡。我们在一个流行的 PDE 基准上对 CAPE 结合课程学习策略进行了比较，相较于基线模型获得了一致且显著的提升。实验还展示了 CAPE 的若干优势，例如在不大幅增加推理时间和参数量的情况下，其泛化到未见 PDE 参数的能力得到增强。
引用
@article{arxiv.2304.14118,
title = {Learning Neural PDE Solvers with Parameter-Guided Channel Attention},
author = {Makoto Takamoto and Francesco Alesiani and Mathias Niepert},
journal= {arXiv preprint arXiv:2304.14118},
year = {2023}
}
备注
accepted for publication in ICML2023