FETCH：面向图像分类持续学习的内存高效重放方法
计算机视觉与模式识别
2024-07-18 v1 机器学习
摘要
类增量持续学习是重要的研究领域，因为静态深度学习方法无法适应变化的任务和数据分布。在先前工作中，使用重放和压缩重放技术取得了良好成果。在 regular replay 领域，GDumb 取得了卓越成绩，但需要大量内存。通过压缩重放技术可解决此问题。本工作旨在评估 GDumb 流水线中的压缩重放。我们提出了 FETCH，一种两阶段压缩方法。首先，通过预训练神经网络的早期层对持续数据流中的样本进行编码。其次，在存储在记忆中的样本进行压缩。遵循 GDumb 方法，使用仅来自 reply 记忆中解压样本的剩余分类头从头训练。在不同场景下评估 FETCH，显示该方法可提高 CIFAR10 和 CIFAR100 上的准确率。在我们的实验中，简单压缩方法（例如张量量化）优于深度自编码器。在未来，FETCH 可作为受限内存场景下压缩重放学习的基准。
引用
@article{arxiv.2407.12375,
title = {FETCH: A Memory-Efficient Replay Approach for Continual Learning in Image Classification},
author = {Markus Weißflog and Peter Protzel and Peer Neubert},
journal= {arXiv preprint arXiv:2407.12375},
year = {2024}
}
备注
Submitted Version for IDEAL 2023