从 MNIST 到 ImageNet 再返回：持续课程学习的基准测试
机器学习
2023-03-21 v1 人工智能
摘要
持续学习(CL)是近期机器学习研究中最有前景的趋势之一。其目标是超越机器学习中的经典假设，开发在动态环境中呈现高鲁棒性的模型与学习策略。CL 研究的图景分散为若干学习评估协议，包含不同的学习任务、数据集与评估指标。此外，迄今采用的基准仍远离真实世界场景的复杂性，且通常专为凸显特定策略的能力而定制。在此图景下，客观评估策略十分困难。本工作中，我们通过对图像数据的 CL 填补这一空白，引入两个新颖的 CL 基准，涉及来自六个图像数据集的多个异构任务，具有不同层次的复杂度和质量。我们的目标是在更接近复杂真实世界场景的共同基础上公平评估当前最先进的 CL 策略。我们还将基准结构化，使任务按课程以复杂度递增和递减的顺序呈现，以评估当前 CL 模型能否利用跨任务的结构。我们特别着重为 CL 社区提供严格且可复现的评估协议，用于衡量模型在学习时的泛化能力与不忘却能力。此外，我们提供了广泛的实验评估，表明流行 CL 策略在我们的基准挑战下表现不佳、遗忘程度高，且有效利用课程任务排序的能力有限。我们相信这些结果凸显了未来 CL 工作中严格比较的必要性，并为设计能应对更复杂场景的新 CL 策略铺平道路。
引用
@article{arxiv.2303.11076,
title = {From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning},
author = {Kamil Faber and Dominik Zurek and Marcin Pietron and Nathalie Japkowicz and Antonio Vergari and Roberto Corizzo},
journal= {arXiv preprint arXiv:2303.11076},
year = {2023}
}