SLE-FNO：用于任务无关性持续学习的单层扩展
机器学习
2026-04-20 v2
摘要
科学机器学习日益用于构建替代模型，但大多数模型在训练时都假设未来数据遵循与训练集相同分布。在实际情况下，新的实验条件或仿真情景可能与先前条件显著不同，要求进行外推并在不重新获取先前数据的情况下更新模型。这导致需要持续学习（CL）框架才能适应分布迁移，同时防止灾难性遗忘。在流体动力学中，几何、边界条件或流动模式的变化会引起解的非平凡变更。本文引入了新的基于架构的方法（SLE-FNO），将单层扩展（SLE）与傅里叶神经算子（FNO）结合，以支持高效持续学习。SLE-FNO 被用于空间场到场回归设置中，对比了包括弹性权重整合（EWC）、无忘记学习（LwF）、基于记忆的重播方法、正交梯度下降（OGD）、梯度episodic记忆（GEM）、PiggyBack 和低秩适应（LoRA）等多种 established CL 方法。模型被训练将瞬时浓度场映射到脉动动脉瘤血流的壁剪应力时间平均值（TAWSS）。任务来源于230个计算流体动力学仿真，分为四个顺序且离散的配置。结果表明，基于记忆的重播方法和基于架构的方法（PiggyBack、LoRA 和 SLE-FNO）在保持性能方面取得最佳结果，其中 SLE-FNO 在塑性和稳定性之间提供最强的整体平衡，实现零遗忘且参数增量最小。我们的发现突显了 CL 算法之间的关键差异，并将 SLE-FNO 引入作为在需要外推时适应基线模型的有前景的策略。
引用
@article{arxiv.2603.20410,
title = {SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators},
author = {Mahmoud Elhadidy and Roshan M. D'Souza and Amirhossein Arzani},
journal= {arXiv preprint arXiv:2603.20410},
year = {2026}
}