像素蒸馏：一种用于低分辨率图像识别的知识蒸馏新方案
计算机视觉与模式识别
2024-07-11 v2 机器学习
摘要
以往的知识蒸馏 (KD) 方法大多聚焦于压缩网络架构，这在部署中不够彻底，因为诸如传输带宽和成像设备等一些成本与图像尺寸相关。因此，我们提出像素蒸馏，将知识蒸馏扩展到输入层面，同时打破架构约束。这样一种方案能够实现部署时灵活的成本控制，因为它允许系统根据资源的总体需求调整网络架构与图像质量。具体而言，我们首先提出输入空间表示蒸馏 (ISRD) 机制，将空间知识从大图像迁移到学生的输入模块，能够促进 CNN 与 ViT 之间的稳定知识迁移。随后，进一步建立教师-助教-学生 (TAS) 框架，将像素蒸馏解耦为模型压缩阶段与输入压缩阶段，显著降低了像素蒸馏的整体复杂度以及蒸馏中间知识的难度。最后，我们通过针对 TAS 的对齐特征保留 (AFP) 策略将像素蒸馏适配到目标检测，该策略通过操纵助手的特徵与锚点来对齐各阶段检测器的输出维度。在图像分类与目标检测上的综合实验证明了我们方法的有效性。代码见 https://github.com/gyguo/PixelDistillation。
引用
@article{arxiv.2112.09532,
title = {Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition},
author = {Guangyu Guo and Dingwen Zhang and Longfei Han and Nian Liu and Ming-Ming Cheng and Junwei Han},
journal= {arXiv preprint arXiv:2112.09532},
year = {2024}
}
备注
TPAMI 2024