用于压缩特征重放的在线持续学习ACAE-REMIND方法
计算机视觉与模式识别
2021-07-09 v2
摘要
在线持续学习旨在从多个不同任务的非独立同分布数据流中学习,且学习者只允许考虑数据一次。方法通常允许使用有限缓冲区来存储流中的部分图像。最近发现,特征重放(存储或生成图像的中间层表示)比图像重放效果更优,且所需内存更少。量化样本可进一步减少内存使用。然而,这些方法的一个缺陷是使用了固定(或极不灵活)的主干网络。这极大限制了可区分所有任务的表征学习。为解决此问题,我们提出一种辅助分类器自编码器(ACAE)模块,用于以高压缩率进行中间层特征重放。每幅图像减少的内存占用使我们能保存更多样本用于重放。在实验中,我们在在线持续学习设置下进行任务无关评估,并在ImageNet-Subset、CIFAR100和CIFAR10数据集上取得最先进性能。
引用
@article{arxiv.2105.08595,
title = {ACAE-REMIND for Online Continual Learning with Compressed Feature Replay},
author = {Kai Wang and Luis Herranz and Joost van de Weijer},
journal= {arXiv preprint arXiv:2105.08595},
year = {2021}
}
备注
Pattern Recognition Letters