通过保持边际训练来缓解负翻转

在降低整体错误的同时，减少 AI 系统连续版本之间的不一致性同样至关重要。在图像分类中，这种不一致性表现为负翻转，即更新后的模型对先前被正确分类的测试样本进行错误分类。随着训练类别数量的增加，这一问题日益突出，因为新增类别会降低每个类别的边际，并可能引入冲突模式，破坏学习过程，从而损害对原始子集的性能。为缓解负翻转，我们提出一种在保持原始模型边际的同时学习改进模型的新方法。该方法通过在 logits 上引入显式边际校准项,鼓励在先前学习的类别与新引入的类别之间保持更大的相对边际。然而，对新类别的 logits 边际过于受限会显著降低其准确率,与独立训练的模型相比差距更大。为此，我们将双源焦点蒸馏损失与先前模型和独立训练的模型集成,即使在边际校准下,也能从旧数据和新数据中学习合适的决策边际。大量实验表明,该方法在图像分类基准测试上能够显著降低负翻转率,同时保持高的整体准确率。