面向内存受限在线持续学习的流数据摘要
计算机视觉与模式识别
2024-01-10 v2
摘要
基于回放的方法通过从辅助内存中复现过往样本，已在在线持续学习中证明其有效性。尽管已有诸多工作致力于改进基于该内存的训练方案，内存中每个样本所承载的信息仍未被充分研究。在存储空间受限的情形下，内存的信息量对于有效回放变得至关重要。虽然某些工作设计了特定策略来挑选代表性样本，但仅使用少量原始图像，存储空间仍未被充分利用。为此，我们提出通过蒸馏真实图像的训练特征，将流数据的知识摘要（SSD）为更具信息量的样本。通过保持训练梯度的一致性及与过往任务的关系，所摘要的样本相比原始图像更能代表流数据。我们在多个在线持续学习基准上进行了大量实验，证明所提 SSD 方法显著增强了回放效果。我们展示，在有限的额外计算开销下，SSD 在极度受限内存缓冲下为顺序 CIFAR-100 提供了超过 3% 的准确率提升。代码见 https://github.com/vimar-gu/SSD。
引用
@article{arxiv.2305.16645,
title = {Summarizing Stream Data for Memory-Constrained Online Continual Learning},
author = {Jianyang Gu and Kai Wang and Wei Jiang and Yang You},
journal= {arXiv preprint arXiv:2305.16645},
year = {2024}
}