基于数据压缩的记忆回放用于持续学习
机器学习
2022-03-10 v2
摘要
持续学习需要克服对过去知识的灾难性遗忘。代表性旧训练样本的记忶回放已被证明是一种有效解决方案，并达到了最先进（SOTA）性能。然而，现有工作主要构建于含少量原始数据的小记忆缓冲上，无法充分刻画旧数据分布。本工作中，我们提出带数据压缩的记忆回放（MRDC）以降低旧训练样本的存储开销，从而增加可存于记忆缓冲中的样本数量。观察到压缩数据质量与数量之间的权衡对记忆回放效能高度微妙，我们提出一种基于行列式点过程（DPPs）的新颖方法，以高效确定当前到达训练样本的适当压缩质量。如此，使用具恰当选定质量的朴素数据压缩算法，可通过在有限存储空间内保存更多压缩数据大幅提振近期强基线。我们在多个类增量学习基准及自动驾驶目标检测的真实场景中广泛验证了该方法。
引用
@article{arxiv.2202.06592,
title = {Memory Replay with Data Compression for Continual Learning},
author = {Liyuan Wang and Xingxing Zhang and Kuo Yang and Longhui Yu and Chongxuan Li and Lanqing Hong and Shifeng Zhang and Zhenguo Li and Yi Zhong and Jun Zhu},
journal= {arXiv preprint arXiv:2202.06592},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:1207.6083 by other authors