模仿神谕：一种用于类增量学习的初始阶段去相关方法

类别增量学习（CIL）旨在以逐阶段的方式学习一个多类分类器，其中每个阶段仅提供部分类别的数据。以往的工作主要集中在缓解初始阶段之后的遗忘问题。然而，我们发现改进CIL的初始阶段也是一个有前景的方向。具体来说，我们通过实验表明，在初始阶段直接鼓励CIL学习器输出与在所有类别上联合训练的模型相似的表示，可以极大地提升CIL性能。受此启发，我们研究了初始阶段朴素训练模型与神谕模型之间的差异。具体而言，由于这两个模型之间的一个主要差异是训练类别的数量，我们研究了这种差异如何影响模型表示。我们发现，当训练类别较少时，每个类别的数据表示位于一个狭长区域；当训练类别较多时，每个类别的表示分布更均匀。受此观察启发，我们提出了逐类去相关（CwD），它有效地正则化每个类别的表示使其分布更均匀，从而模仿在所有类别上联合训练的模型（即神谕模型）。我们的CwD实现简单，易于嵌入现有方法。在各种基准数据集上的大量实验表明，CwD一致且显著地将现有最先进方法的性能提升了约1%至3%。代码将开源。