基于自适应层冻结与频率抽样的预算约束下的在线持续学习
机器学习
2025-03-18 v2 人工智能
计算机视觉与模式识别
摘要
大多数在线持续学习(CL)方法主张单 epoch 训练，并限制回放记忆的大小。然而，单 epoch 训练会导致每种 CL 算法计算量不同，此外存储 logits 或模型以外的额外存储成本在计算存储预算时被大幅忽略。我们认为不同的计算和存储预算会阻碍实际中对 CL 算法进行公平比较。因此，我们提出以浮点运算次数(FLOPs)和字节为单位的内存大小作为计算和存储预算的度量标准，以在相同的总资源预算下比较和发展 CL 方法。为改进受限总预算下的 CL 方法，我们提出自适应层冻结技术，即对计算量较小的批次不更新其层，以降低计算成本且几乎不损失准确性。此外，我们提出一种记忆检索方法，使模型能够在更少的迭代次数中获得与随机检索相同数量的知识。在 CIFAR-10/100、CLEAR-10/100 和 ImageNet-1K 数据集上的实证验证表明，所提方法在相同的总预算下优于最新方法。
引用
@article{arxiv.2410.15143,
title = {Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling},
author = {Minhyuk Seo and Hyunseo Koh and Jonghyun Choi},
journal= {arXiv preprint arXiv:2410.15143},
year = {2025}
}
备注
ICLR 2025 Spotlight