冷启动无样本增量学习的弹性特征巩固
计算机视觉与模式识别
2024-05-31 v3 机器学习
摘要
无样本类增量学习（EFCIL）旨在从一系列任务中学习，而无法访问先前任务的数据。在本文中，我们考虑具有挑战性的冷启动场景，其中第一个任务中可用数据不足，无法学习高质量的主干网络。这对EFCIL尤其具有挑战性，因为它需要高可塑性，这会导致特征漂移，而在无样本设置中难以补偿。为了解决这个问题，我们提出了一种简单有效的方法，通过正则化与先前任务高度相关的方向上的漂移来巩固特征表示，并使用原型来减少任务-新近偏差。我们的方法称为弹性特征巩固（EFC），利用基于经验特征矩阵（EFM）的特征漂移的可处理二阶近似。EFM在特征空间中诱导出一个伪度量，我们用它来正则化重要方向上的特征漂移，并更新用于一种新颖的非对称交叉熵损失的高斯原型，该损失有效地平衡了原型重演与新任务数据。在CIFAR-100、Tiny-ImageNet、ImageNet-Subset和ImageNet-1K上的实验结果表明，弹性特征巩固通过保持模型可塑性更好地学习新任务，并显著优于最先进的方法。
引用
@article{arxiv.2402.03917,
title = {Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning},
author = {Simone Magistri and Tomaso Trinci and Albin Soutif-Cormerais and Joost van de Weijer and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:2402.03917},
year = {2024}
}
备注
Accepted at Twelfth International Conference on Learning Representations (ICLR 2024)