掩码生成蒸馏
计算机视觉与模式识别
2022-07-06 v2
摘要
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提升学生模型的性能。本文表明，教师也可以通过引导学生模型的特征恢复来增强学生的表征能力。从这一角度出发，我们提出掩码生成蒸馏（MGD），其方法十分简单：我们对学生模型特征的随机像素进行掩码，并通过一个简单的模块迫使其生成教师的完整特征。MGD 是一种真正通用的基于特征的蒸馏方法，可用于包括图像分类、目标检测、语义分割和实例分割在内的多种任务。我们在不同模型上使用大量数据集进行了实验，结果表明所有学生模型都取得了优异的提升。值得注意的是，我们将 ResNet-18 在 ImageNet 上的 top-1 准确率从 69.90% 提升至 71.69%，将基于 ResNet-50 骨干的 RetinaNet 的 Boundingbox mAP 从 37.4 提升至 41.0，将基于 ResNet-50 的 SOLO 的 Mask mAP 从 33.1 提升至 36.2，并将基于 ResNet-18 的 DeepLabV3 的 mIoU 从 73.20 提升至 76.02。我们的代码可在 https://github.com/yzd-v/MGD 获取。
引用
@article{arxiv.2205.01529,
title = {Masked Generative Distillation},
author = {Zhendong Yang and Zhe Li and Mingqi Shao and Dachuan Shi and Zehuan Yuan and Chun Yuan},
journal= {arXiv preprint arXiv:2205.01529},
year = {2022}
}
备注
Accept by ECCV 2022