基于掩码图像建模的异质生成式知识蒸馏
计算机视觉与模式识别
2024-01-12 v2 人工智能
摘要
基于CNN的小模型在部署于计算资源受限的边缘设备前通常需要从大模型迁移知识。掩码图像建模(MIM)方法在各种视觉任务中取得巨大成功，但在面向异质深度模型的知识蒸馏中仍鲜有探索。原因主要在于基于Transformer的大模型与基于CNN的小网络之间存在显著差距。本文提出了首个基于MIM的异质生成式知识蒸馏(H-GKD)，能够以生成式自监督方式高效地将知识从大型Transformer模型迁移到基于CNN的小模型。我们的方法通过训练具有稀疏卷积的UNet风格学生网络，在Transformer模型与CNN之间架起桥梁，可有效模仿教师模型在掩码建模下推断的视觉表征。我们的方法是一种简单而有效的学习范式，用于从可使用先进生成方法预训练的异质教师模型学习视觉表征与数据分布。大量实验表明，它能很好地适配各种模型与尺寸，在图像分类、目标检测与语义分割任务中持续取得最先进性能。例如，在Imagenet 1K数据集上，H-GKD将Resnet50（稀疏）的准确率从76.98%提升至80.01%。
引用
@article{arxiv.2309.09571,
title = {Heterogeneous Generative Knowledge Distillation with Masked Image Modeling},
author = {Ziming Wang and Shumin Han and Xiaodi Wang and Jing Hao and Xianbin Cao and Baochang Zhang},
journal= {arXiv preprint arXiv:2309.09571},
year = {2024}
}