监督对比重放：在在线类增量持续学习中重访最近类均值分类器

在线类增量持续学习（CL）研究从在线非平稳数据流中持续学习新类的问题，旨在适应新数据的同时缓解灾难性遗忘。尽管记忆重放已展现出有前景的结果，但在线学习中由常用 Softmax 分类器引起的近因偏差仍是一个未解决的挑战。尽管最近类均值（NCM）分类器在 CL 领域被严重低估，我们证明它是 Softmax 分类器的一个简单而有效的替代方案。它解决了近因偏差，并避免了为新类在全连接层中进行结构改变。此外，我们观察到，对于若干最先进的重放方法，用 NCM 分类器替换 Softmax 分类器带来了可观且一致的性能提升。为更有效地利用 NCM 分类器，属于同一类的数据嵌入应当被聚拢并与不同类标签的嵌入良好分离。为此，我们提出监督对比重放（SCR），其在基于重放的训练中显式地鼓励同类样本在嵌入空间中紧密聚集，同时将不同类的样本推得更远。总体而言，我们观察到我们提出的 SCR 大幅减少了灾难性遗忘，并在多种数据集上以显著优势优于最先进的 CL 方法。