GRASP：一种用于高效在线持续学习的回放策略

深度神经网络（DNNs）中的持续学习（CL）涉及从不断增长的数据流中增量地积累 DNN 的知识。CL 的一个主要挑战是非平稳数据流会导致对先前所学能力的灾难性遗忘。一种流行的解决方案是回放：将过去的观测存储在缓冲区中，然后对缓冲区进行采样以更新 DNN。以类平衡方式进行均匀采样非常有效，而更好的样本选择策略一直难以捉摸。在此，我们提出一种称为 GRASP 的新样本选择策略，它先选择最具原型性（简单）的样本，然后逐渐选择原型性较低（更难）的样例。与均匀选择相比，GRASP 几乎不增加额外的计算或内存开销，从而能够扩展到大型数据集。与另外 17 种回放策略相比，GRASP 在 ImageNet 上的 CL 实验中取得了更高的准确率。与均匀平衡采样相比，GRASP 以少 40% 的更新次数达到了相同的性能。我们还展示了 GRASP 在五个文本分类数据集上的 CL 中是有效的。