用于分析持续学习器的新型度量指标
机器学习
2023-09-04 v1 人工智能
摘要
深度神经网络在来自固定类别集合的独立同分布数据上训练时表现出卓越性能。然而,在真实场景中,往往期望在连续数据流上训练模型,其中多个分类任务被顺序呈现。这一被称为持续学习(CL)的场景对标准学习算法提出挑战,后者难以在习得新任务的同时保持对旧任务的知识。这一稳定性-可塑性困境仍是CL的核心,且已有多种度量被提出以分别恰当衡量稳定性与可塑性。然而,尚无度量考虑分类任务日益增加的难度,而这本质上会导致任何模型的性能损失。在此意义上,我们分析当前度量的若干局限并识别出由设置诱导的遗忘之存在。因此,我们提出考虑任务难度递增的新度量。通过在基准数据集上的实验,我们证明所提度量能为持续学习环境下模型所达成的稳定性-可塑性权衡提供新的见解。
引用
@article{arxiv.2309.00462,
title = {New metrics for analyzing continual learners},
author = {Nicolas Michel and Giovanni Chierchia and Romain Negrel and Jean-François Bercher and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2309.00462},
year = {2023}
}
备注
6 pages, presented at MIRU 2023