面向目标检测器蒸馏的实操引导方法
计算机视觉与模式识别
2021-05-13 v2 人工智能
摘要
知识蒸馏可针对困扰人的计算复杂度问题得到易于部署的网络，但先前方法忽视了检测器中的特征层级。受此启发，我们提出了一种通用的检测蒸馏框架。我们的方法称为 Hands-on Guidance Distillation（实操引导蒸馏，HGD），蒸馏所有阶段特征的潜在知识以施加更全面的监督，同时聚焦于本质以促进更强烈的知识吸收。具体而言，精心设计了一系列新颖机制，包括用于一致性的对应建立、实操模仿损失度量，以及从微观与宏观视角的重加权优化。我们在 VOC 和 COCO 数据集上以不同蒸馏配置进行了广泛评估，显示出在精度与速度权衡上更优的性能。同时，在不同结构网络上的可行性实验进一步证明了我们 HGD 的鲁棒性。
引用
@article{arxiv.2103.14337,
title = {Hands-on Guidance for Distilling Object Detectors},
author = {Yangyang Qin and Hefei Ling and Zhenghai He and Yuxuan Shi and Lei Wu},
journal= {arXiv preprint arXiv:2103.14337},
year = {2021}
}
备注
Accepted at ICME2021