多模态持续学习的最新进展：综合综述
机器学习
2026-03-31 v3 人工智能
摘要
持续学习（Continual Learning, CL）旨在使机器学习模型能够从新数据中持续学习，同时在不忘记先前已获取知识的前提下进行学习。随着模型从小型架构演进到大型预训练模型，从单模态数据扩展到多模态数据，多模态持续学习（Multimodal Continual Learning, MMCL）方法近期应运而生。MMCL的主要复杂性在于，它超越了简单叠加单模态CL方法的做法。这种直接的方法常常会出现多模态灾难性遗忘，导致性能不佳。此外，MMCL引入了一些单模态CL方法难以充分解决的新挑战，包括模态不平衡、复杂的模态交互、高计算成本以及多模态背bone（即预训练模型）的零样本能力退化。在本工作中，我们提供了关于MMCL的首个综合综述。我们提供了必要的背景知识和MMCL设置，以及多模态持续学习方法的结构化分类。我们将MMCL方法分为四个类别，即正则化基方法、架构基方法、重放基方法和提示基方法，阐述其方法论并突出其关键创新。此外，为促进该领域的进一步研究，我们总结了开放的MMCL数据集和基准，提供深入讨论，并讨论了几个有前景的未来方向。我们还创建了一个GitHub存储库，用于索引相关MMCL论文和可用资源，链接为 https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning。
引用
@article{arxiv.2410.05352,
title = {Recent Advances of Multimodal Continual Learning: A Comprehensive Survey},
author = {Dianzhi Yu and Xinni Zhang and Yankai Chen and Aiwei Liu and Yifei Zhang and Philip S. Yu and Irwin King},
journal= {arXiv preprint arXiv:2410.05352},
year = {2026}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS). DOI: 10.1109/TNNLS.2026.3658485. Copyright 2026 IEEE