探索持续学习中的稳定性差距：分类头的作用
机器学习
2024-11-27 v2 人工智能
计算机视觉与模式识别
摘要
持续学习（CL）已成为机器学习中的关键领域，使神经网络能够从不断变化的数据分布中学习同时缓解灾难性遗忘。然而，近期研究发现了稳定性差距——一种模型在先前学习任务上最初失去性能随后在训练过程中部分恢复的现象。这种学习动态与持续学习中稳定性的直观理解相矛盾，因为人们期望性能逐渐下降而非快速下降然后随后部分恢复。为了更好地理解和缓解稳定性差距，我们在神经网络架构的不同层面对其进行研究，特别关注分类头的作用。我们引入最近均值分类器（NMC）作为将骨干网络和分类头对稳定性差距的影响进行归因的工具。我们的实验表明，NMC不仅提升了最终性能，还显著增强了各种持续学习基准测试中的训练稳定性，包括 CIFAR100、ImageNet100、CUB-200 和 FGVC Aircrafts。此外，我们发现 NMC 还减少了任务近期偏差。我们的分析为稳定性差距提供了新的见解，并表明该现象的主要贡献者是线性头而非表示学习的不足。
引用
@article{arxiv.2411.04723,
title = {Exploring the Stability Gap in Continual Learning: The Role of the Classification Head},
author = {Wojciech Łapacz and Daniel Marczak and Filip Szatkowski and Tomasz Trzciński},
journal= {arXiv preprint arXiv:2411.04723},
year = {2024}
}
备注
Accepted at WACV 2025