将编码片段作为概念存储以实现持续学习
计算机视觉与模式识别
2020-07-15 v1 机器学习
机器学习
摘要
持续学习方法面临的两个主要挑战是灾难性遗忘和数据存储的内存限制。为应对这些挑战，我们提出了一种新颖的、受认知启发的方法，该方法使用神经风格迁移训练自编码器来编码和存储图像。在对分类器模型进行新任务训练时，会重放来自编码片段的重建图像，以避免灾难性遗忘。重建图像的损失函数在分类器训练期间被加权以降低其影响，从而应对图像退化。当系统内存耗尽时，编码片段被转换为质心和协方差矩阵，用于在分类器训练期间生成伪图像，以更少的内存保持分类器性能稳定。我们的方法在基准数据集上比最先进的方法提高了13-17%的分类准确率，同时所需存储空间减少了78%。
引用
@article{arxiv.2007.06637,
title = {Storing Encoded Episodes as Concepts for Continual Learning},
author = {Ali Ayub and Alan R. Wagner},
journal= {arXiv preprint arXiv:2007.06637},
year = {2020}
}
备注
Accepted at ICML2020 (Workshop on Lifelong Learning)