无样例类增量学习中初始训练策略的分析
机器学习
2023-09-28 v2 计算机视觉与模式识别
摘要
类增量学习（Class-Incremental Learning, CIL）旨在从数据流中构建分类模型。在 CIL 过程的每一步，必须将新类整合进模型。由于灾难性遗忘，当无法存储过去类的样本时（本文关注的情形），CIL 尤为困难。迄今，大多数方法仅基于 CIL 过程的目标数据集。然而，利用在大量数据上以自监督方式预训练的模型近来势头渐起。CIL 过程的初始模型可仅使用目标数据集的第一批次，也可使用在辅助数据集上获得的预训练权重。这两种初始学习策略的选择会显著影响增量学习模型的性能，但尚未被深入研究。性能还受 CIL 算法选择、神经架构、目标任务性质、流中类别分布及可用学习样本数的影响。我们开展了全面的实验研究以评估这些因素的作用。我们提出了一种统计分析方法框架，量化各因素对增量性能的相对贡献。主要发现是：初始训练策略是影响平均增量准确率的主导因素，而 CIL 算法的选择对防止遗忘更为重要。基于该分析，我们针对给定增量学习用例提出了选择正确初始训练策略的实用建议。这些建议旨在促进增量学习的实际部署。
引用
@article{arxiv.2308.11677,
title = {An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning},
author = {Grégoire Petit and Michael Soumm and Eva Feillet and Adrian Popescu and Bertrand Delezoide and David Picard and Céline Hudelot},
journal= {arXiv preprint arXiv:2308.11677},
year = {2023}
}