用于视觉识别的快速知识蒸馏框架

尽管知识蒸馏（KD）已被认为是许多视觉任务（如监督分类和自监督表示学习）中的有用工具，但原始 KD 框架的主要缺点在于其机制：它在通过巨型教师网络前向传播上消耗了大部分计算开销，使整个学习过程低效且昂贵。最近提出的 ReLabel 建议为整幅图像创建标签图。训练期间，它通过 RoI 对齐在预生成的整图标签图上获取裁剪的区域级标签，从而无需多次通过教师网络即可高效生成监督。然而，由于 KD 教师来自传统的多裁剪训练，该技术中全局标签图与区域级标签之间存在各种不匹配，导致性能下降。本研究中，我们提出快速知识蒸馏（FKD）框架，其复现蒸馏训练阶段并使用多裁剪 KD 方法生成软标签，同时比 ReLabel 训练更快，因为未使用 RoI 对齐和 softmax 操作等后处理。在同一图像上执行多裁剪用于数据加载时，我们的 FKD 甚至比传统图像分类框架更高效。在 ImageNet-1K 上，我们以 ResNet-50 取得 79.8%，比 ReLabel 高约 1.0% 且更快。在自监督学习任务上，我们也展示了 FKD 的效率优势。项目主页：http://zhiqiangshen.com/projects/FKD/index.html，源代码与模型见：https://github.com/szq0214/FKD。