一种持续学习且不遗忘的基础神经算子

机器学习已见证显著增长，催生了为应对跨多领域（如计算机视觉、自然语言处理与科学计算）广泛现实挑战而构建的先进人工智能模型。然而，为每个新任务定制模型仍是资源密集型工作，需耗费大量计算时间与内存资源。本研究引入神经组合小波神经算子（NCWNO）作为科学计算的基础模型之概念。该模型专为从多样物理中学习并持续适应与参数偏微分方程（PDEs）相关的求解算子而设计。NCWNO 利用门控结构，以局部小波专家获取多物理系统间的共享特征，并辅以这些局部小波专家间基于记忆的集成方法。该组合使其能快速适应新挑战。所提基础模型具两大关键优势：（i）可同时学习多个参数 PDE 的求解算子；（ii）能以极少微调快速泛化至新参数 PDE。所提 NCWNO 是首个具备以下特征的基础算子学习算法：（i）对灾难性遗忘具有鲁棒性，（ii）对新参数 PDE 保持正迁移，（iii）促进跨异质任务的知识迁移。通过大量基准示例，我们证明 NCWNO 在预测阶段以极小超参数调优即可优于特定任务基线算子学习框架。我们还展示，通过极少微调，NCWNO 能对新型参数 PDE 进行精确组合学习。