通过插即式状态空间模型和类条件离散化混合，增强在线持续学习的能力
机器学习
2024-12-25 v1 人工智能
计算机视觉与模式识别
摘要
在线持续学习（Online Continual Learning，OCL）旨在从仅出现一次的数据流中学习新任务，同时保留先前学习任务的知识。大多数现有方法依赖重放，侧重通过正则化或知识蒸馏来增强记忆保持。然而，这些方法往往忽视了模型的适应性，限制了其从在线训练数据中逐步学习通用且判别性特征的能力。为此，我们引入了一个插即式模块S6MOD，可集成到大多数现有方法中，直接提升适应性。具体而言，S6MOD在主干网络之后引入一个额外的分支，其中一种离散化混合 selectively 调整选择性状态空间模型中的参数，丰富选择性扫描模式，以便模型能够适应性地为当前动力学选择最敏感的离散化方法。我们进一步设计了一种基于动态不确定性调整的类条件路由算法，并实现了对抗离散化损失以进行优化。将该模块与各种模型结合进行的大量实验表明，S6MOD显著增强了模型的适应性，带来了显著的性能提升，并取得了最新的研究成果。
引用
@article{arxiv.2412.18177,
title = {Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization},
author = {Sihao Liu and Yibo Yang and Xiaojie Li and David A. Clifton and Bernard Ghanem},
journal= {arXiv preprint arXiv:2412.18177},
year = {2024}
}