CustomKD：通过知识蒸馏定制大型视觉基础模型以改进边缘模型
计算机视觉与模式识别
2025-03-25 v1
摘要
我们提出了一种新颖的知识蒸馏方法CustomKD,有效利用大型视觉基础模型(LVFMs)来提升边缘模型(如MobileNetV3)的性能。尽管LVFMs如DINOv2和CLIP在近期取得了显著进展，但其在知识蒸馏以增强边缘模型性能方面的潜力仍未得到充分探索。虽然知识蒸馏是改进边缘模型性能的有前景的方法,但LVFMs与边缘模型之间模型容量差异和异构架构构成了显著挑战。我们的观察表明,虽然在教师模型中使用更大骨干网络(如ViT-S至ViT-L)可提升其下游任务性能,但从大型教师模型进行知识蒸馏为学生模型带来的性能提升不如教师模型本身。CustomKD通过定制化LVFMs中固有的良好泛化特征以适应特定学生模型,从而减少模型差异。具体而言,除提供教师模型中良好泛化的原始知识外,CustomKD还将教师模型的特征与学生模型的特征对齐,使学生模型能够轻松理解并克服模型差异。实验结果表明,CustomKD在无标签数据场景(如无监督域适应中的OfficeHome和DomainNet,以及半监督学习中的CIFAR-100仅有400个标记样本和ImageNet仅有1%标记样本)中显著提升了边缘模型性能,实现了新的状态最佳性能。
引用
@article{arxiv.2503.18244,
title = {CustomKD: Customizing Large Vision Foundation for Edge Model Improvement via Knowledge Distillation},
author = {Jungsoo Lee and Debasmit Das and Munawar Hayat and Sungha Choi and Kyuwoong Hwang and Fatih Porikli},
journal= {arXiv preprint arXiv:2503.18244},
year = {2025}
}
备注
Accepted to CVPR 2025