通过序列化缓解持续学习中的灾难性遗忘
机器学习
2025-12-19 v1 人工智能
摘要
为应对现实世界的动态需求，智能系统需要在其生命周期内逐步获取、更新和利用知识。这种能力被称为持续学习，为AI系统提供了自适应发展的基础。灾难性遗忘是持续学习方法取得进展的主要挑战，其中学习新任务通常会导致对先前学习任务的性能显著下降。许多方法不断涌现，用于抵消灾难性遗忘的影响。大多数提出的方法可以分为五类：基于记忆的、基于正则化的、基于优化的、基于表示的和基于架构的。在本工作中，我们从一个不同的角度入手，具体考虑任务在呈现给模型时的排序问题。我们研究了任务排序在缓解灾难性遗忘中的作用，并提出了一种确定最优任务顺序的方法。该方法利用受神经网络搜索（NAS）启发的零样本评分算法。结果表明，智能任务排序可以显著降低灾难性遗忘。此外，当与传统持续学习策略结合时，序列化方法能提供更好的性能和对遗忘的鲁棒性。此外，所提出的方法还可应用于其他领域，如课程学习。
引用
@article{arxiv.2512.16871,
title = {Sequencing to Mitigate Catastrophic Forgetting in Continual Learning},
author = {Hesham G. Moussa and Aroosa Hameed and Arashmid Akhavain},
journal= {arXiv preprint arXiv:2512.16871},
year = {2025}
}
备注
The Manuscript is submitted for review under IEEE Transactions on Artificial intelligence