任务近因偏差卷土重来：在无样本类增量学习中自适应协方差
机器学习
2024-10-29 v2 计算机视觉与模式识别
摘要
无样本类增量学习（EFCIL）解决了在无法访问过去数据的情况下，按任务序列训练模型的问题。现有最先进方法将类别表示为特征提取器潜在空间中的高斯分布，从而实现贝叶斯分类或通过重放伪特征来训练分类器。然而，我们发现了两个关键问题，这些问题在特征提取器针对增量任务更新时会损害其有效性。首先，它们未考虑类别的协方差矩阵会发生变化，且必须在每个任务后进行自适应。其次，它们容易受到训练期间维度坍塌引起的任务近因偏差的影响。在这项工作中，我们提出了AdaGauss——一种新颖的方法，该方法能在任务间自适应协方差矩阵，并通过额外的抗坍塌损失函数缓解任务近因偏差。在从头训练或从预训练骨干网络开始的情况下，AdaGauss在流行的EFCIL基准和数据集上取得了最先进的结果。代码可在 https://github.com/grypesc/AdaGauss 获取。
引用
@article{arxiv.2409.18265,
title = {Task-recency bias strikes back: Adapting covariances in Exemplar-Free Class Incremental Learning},
author = {Grzegorz Rypeść and Sebastian Cygert and Tomasz Trzciński and Bartłomiej Twardowski},
journal= {arXiv preprint arXiv:2409.18265},
year = {2024}
}
备注
Accepted for NeurIPS 2024