在线持续学习中的实时评估：新的希望
机器学习
2023-03-27 v3 人工智能
计算机视觉与模式识别
摘要
当前对持续学习（CL）方法的评估通常假设训练时间与计算无约束。这对于任何真实世界场景都是不现实的假设，促使我们提出：一种实用的持续学习实时评估，其中数据流不会等待模型完成训练才揭示下一批数据用于预测。为此，我们针对当前CL方法的计算成本进行评估。我们在CLOC上进行了大量实验，CLOC是一个包含3900万带时间戳地理标签图像的大规模数据集。我们表明，在此评估下，一个简单基线优于最先进的CL方法，质疑现有方法在真实场景中的适用性。此外，我们探讨了文献中常用的各种CL组件，包括记忆采样策略与正则化方法。我们发现所有考虑的方法均无法与我们的简单基线竞争。这令人惊讶地表明，现有大部分CL文献都是为不实用的一类特定数据流量身定制的。我们希望所提供的评估将成为在在线持续学习方法开发中考虑计算成本的范式转变的第一步。
引用
@article{arxiv.2302.01047,
title = {Real-Time Evaluation in Online Continual Learning: A New Hope},
author = {Yasir Ghunaim and Adel Bibi and Kumail Alhamoud and Motasem Alfarra and Hasan Abed Al Kader Hammoud and Ameya Prabhu and Philip H. S. Torr and Bernard Ghanem},
journal= {arXiv preprint arXiv:2302.01047},
year = {2023}
}
备注
Accepted at CVPR'23 as Highlight (Top 2.5%)