$V_kD:$ 利用正交投影改进知识蒸馏
计算机视觉与模式识别
2024-03-12 v1 人工智能
摘要
知识蒸馏是训练小型高效深度学习模型的有效方法。然而，单一方法的有效性在迁移到其他任务、模态甚至其他架构时可能会退化。为了解决这一局限性，我们提出了一种新颖的约束特征蒸馏方法。该方法源自一小套核心原则，产生了两个新兴组件：正交投影和任务特定的归一化。配备了这两个组件后，我们的 Transformer 模型在 ImageNet 上超越了所有先前的方法，相较于先前的 SOTA 方法实现了高达 4.4% 的相对提升。为了进一步证明我们方法的通用性，我们将其应用于目标检测和图像生成，在 SOTA 上获得了一致且显著的性能提升。代码和模型已公开：https://github.com/roymiles/vkd
关键词
引用
@article{arxiv.2403.06213,
title = {$V_kD:$ Improving Knowledge Distillation using Orthogonal Projections},
author = {Roy Miles and Ismail Elezi and Jiankang Deng},
journal= {arXiv preprint arXiv:2403.06213},
year = {2024}
}
备注
CVPR 2024. Code available at https://github.com/roymiles/vkd