在线持续学习：关于方法、挑战与基准的系统性文献综述
机器学习
2025-01-10 v1
摘要
在线持续学习（OCL）是机器学习中的一个关键领域，侧重于使模型能够实时适应不断演化的数据流，同时解决灾难性遗忘和稳定性-可塑性权衡等挑战。本研究对OCL进行了首次全面的系统性文献综述（SLR），分析了81种方法，提取了超过1,000个特征（这些方法所解决的具体任务），并识别了500多个组件（方法内的子模型，包括算法和工具）。我们还回顾了涵盖图像分类、目标检测和多模态视觉-语言任务等应用的83个数据集。我们的发现突出了关键挑战，包括减少计算开销、开发领域无关的解决方案，以及在资源受限的环境中提高可扩展性。此外，我们确定了未来研究的有前景方向，例如利用自监督学习处理多模态和序列数据，设计集成稀疏检索和生成式重放的自适应记忆机制，以及为具有噪声或演化任务边界的实际应用创建高效框架。通过对OCL当前状态提供严谨且结构化的综合分析，本综述为推进该领域及应对其关键挑战和机遇提供了宝贵资源。完整的SLR方法论步骤和提取的数据可通过提供的链接公开获取：https://github.com/kiyan-rezaee/ Systematic-Literature-Review-on-Online-Continual-Learning
引用
@article{arxiv.2501.04897,
title = {Online Continual Learning: A Systematic Literature Review of Approaches, Challenges, and Benchmarks},
author = {Seyed Amir Bidaki and Amir Mohammadkhah and Kiyan Rezaee and Faeze Hassani and Sadegh Eskandari and Maziar Salahi and Mohammad M. Ghassemi},
journal= {arXiv preprint arXiv:2501.04897},
year = {2025}
}