面向在线持续学习的动态双缓冲区与分治策略
机器学习
2025-12-16 v2
摘要
在线持续学习 (OCL) 涉及顺序到达的数据，面临灾难性遗忘问题，这会显著损害模型性能。为解决此问题，我们引入了一种新型框架——Online Dynamic Expandable Dual Memory (ODEDM)，该框架集成了用于快速记忆的短期记忆和结构为原型所锚定的子缓冲区组成的长期记忆，使其能够存储多样且类别特定的样本以缓解遗忘。我们提出了一种基于 K 均值聚类的原型识别策略，以及基于最优输运的机制来保留关键样本，优先保留与其相应原型高度相似的样本。这种设计保留了语义丰富的信息。此外，我们提出了分治 (DAC) 优化策略，将记忆更新分解为子问题，从而降低计算开销。ODEDM 作为一个即插即用模块，可无缝集成到现有的基于再训练的方法中。在标准和不平衡 OCL 设置下的实验结果表明，ODEDM 在多个数据集上始终实现了最先进的性能，显著优于 DER 系列以及最近的 VR-MCL 和 POCL 等方法。
引用
@article{arxiv.2505.18101,
title = {Dynamic Dual Buffer with Divide-and-Conquer Strategy for Online Continual Learning},
author = {Congren Dai and Huichi Zhou and Jiahao Huang and Zhenxuan Zhang and Fanwen Wang and Yijian Gao and Guang Yang and Fei Ye},
journal= {arXiv preprint arXiv:2505.18101},
year = {2025}
}