重新思考经验回放:持续学习中的一组技巧
机器学习
2020-10-13 v1 机器学习
摘要
在持续学习中,神经网络在分布随时间漂移的数据流上进行训练。在这些假设下,在后续出现的类别上提升性能同时保持对先前类别的准确率尤其具有挑战性。这归因于著名的灾难性遗忘问题,当分类器专注于学习新类别时会导致性能快速下降。近期文献提出了各种方法来解决此问题,常借助非常复杂的技术。在本工作中,我们表明朴素回放可通过修补达到类似性能。我们指出了限制经验回放(ER)的一些缺陷,并提出了五种技巧来缓解它们。实验表明,经此增强的ER在CIFAR-10和CIFAR-100数据集上(内存缓冲大小1000)分别实现了51.2和26.9个百分点的准确率提升。因此,它超越了当前最先进的基于回放的方法。
引用
@article{arxiv.2010.05595,
title = {Rethinking Experience Replay: a Bag of Tricks for Continual Learning},
author = {Pietro Buzzega and Matteo Boschini and Angelo Porrello and Simone Calderara},
journal= {arXiv preprint arXiv:2010.05595},
year = {2020}
}
备注
8 pages, 6 figures. Accepted at the 25th International Conference on Pattern Recognition (ICPR 2020), Milan, Italy