在线持续学习的综合实证评估
机器学习
2023-09-26 v3
摘要
在线持续学习旨在通过学习具有时间漂移分布的数据流并仅存储该流中的最少数据量，来更接近实时学习体验。在本实证评估中，我们评估了文献中解决在线持续学习的各种方法。更具体地，我们聚焦于图像分类场景下的类增量设置，其中学习器必须从数据流中增量地学习新类别。我们在 Split-CIFAR100 和 Split-TinyImagenet 基准上比较这些方法，并衡量它们的平均准确率、遗忘度、稳定性以及表征质量，以在训练结束时以及整个训练期间评估算法的各个方面。我们发现大多数方法存在稳定性和欠拟合问题。然而，在相同的计算预算下，所学表征与独立同分布（i.i.d.）训练相当。结果中未出现明显的胜出者，且经过适当调优和实现的基础经验回放（experience replay）是一个非常强的基线。我们基于 avalanche 框架在 https://github.com/AlbinSou/ocl_survey 发布了模块化且可扩展的代码库，以复现我们的结果并鼓励未来的研究。
引用
@article{arxiv.2308.10328,
title = {A Comprehensive Empirical Evaluation on Online Continual Learning},
author = {Albin Soutif--Cormerais and Antonio Carta and Andrea Cossu and Julio Hurtado and Hamed Hemati and Vincenzo Lomonaco and Joost Van de Weijer},
journal= {arXiv preprint arXiv:2308.10328},
year = {2023}
}
备注
ICCV Visual Continual Learning Workshop 2023 accepted paper