通过自蒸馏和重置的多样特征学习

我们的论文解决了模型难以学习多样特征的问题，原因是要么忘记了先前学到的特征，要么未能学习新特征。为了克服这个问题，我们引入了多样特征学习(DFL)，一种将重要特征保留算法与新特征学习算法相结合的方法。具体来说，为了保留重要特征，我们通过选择训练过程中观察到的有意义的模型权重，在集成模型中利用自蒸馏。为了学习新特征，我们采用重置，即周期性地重新初始化模型的一部分。结果，通过在图像分类上使用各种模型进行实验，我们确定了自蒸馏和重置之间潜在的协同效应。