FerKD：用于高效蒸馏的手术式标签适应

我们提出FerKD，一种新颖的高效知识蒸馏框架，它结合了部分软硬标签适应与区域校准机制。我们的方法源于观察和直觉：标准数据增强（如RandomResizedCrop）倾向于将输入转化为不同条件：简单正例、困难正例或困难负例。在传统蒸馏框架中，这些变换后的样本通过预训练教师模型得到的预测概率被平等使用。然而，仅依赖预训练教师的预测值（先前研究的常见做法）忽略了这些软标签预测的可靠性。为了解决这个问题，我们提出一种新方案，将不太置信的区域校准为使用软化硬真实标签的上下文。我们的方法包括困难区域挖掘+校准过程。我们通过实验证明，该方法可以显著提高收敛速度和最终精度。此外，我们发现一致的混合策略可以稳定软监督的分布，从而利用软标签的优势。因此，我们引入了一种稳定的SelfMix增强，通过混合同一图像中的相似区域来减弱混合图像和相应软标签的变化。FerKD是一个直观且设计良好的学习系统，消除了先前FKD解决方案中的多个启发式和超参数。更重要的是，它在ImageNet-1K和下游任务上取得了显著改进。例如，FerKD在ResNet-50上达到81.2%的ImageNet-1K准确率，显著优于FKD和FunMatch。利用更好的预训练权重和更大的架构，我们微调的ViT-G14甚至达到89.9%。我们的代码可在https://github.com/szq0214/FKD/tree/main/FerKD获取。