理解投影器在知识蒸馏中的作用
计算机视觉与模式识别
2024-02-02 v5 人工智能
摘要
在本文中，我们将知识蒸馏的有效性重新审视为一个函数匹配和度量学习问题。在此过程中，我们验证了三个重要的设计决策，即归一化、软最大值函数和投影层作为关键要素。我们从理论上表明，投影器隐式编码了过去样本的信息，从而为学生网络提供关系梯度。然后我们表明，表示的归一化与该投影器的训练动态紧密耦合，这会对学生的性能产生很大影响。最后，我们表明一个简单的软最大值函数可用于解决任何显著的容量差距问题。在各种基准数据集上的实验结果表明，尽管计算效率更高，但使用这些见解可以带来优于或与最先进的知识蒸馏技术相当的性能。特别地，我们在图像分类（CIFAR100 和 ImageNet）、目标检测（COCO2017）以及更困难的知识蒸馏目标（例如训练数据高效的 transformers）上取得了这些结果，其中我们通过 DeiT-Ti 在 ImageNet 上获得了 77.2% 的 top-1 准确率。代码和模型已公开可用。
引用
@article{arxiv.2303.11098,
title = {Understanding the Role of the Projector in Knowledge Distillation},
author = {Roy Miles and Krystian Mikolajczyk},
journal= {arXiv preprint arXiv:2303.11098},
year = {2024}
}
备注
AAAI 2024. Code available at https://github.com/roymiles/Simple-Recipe-Distillation