面向目标检测的结构化知识蒸馏
计算机视觉与模式识别
2022-11-24 v1 人工智能
摘要
知识蒸馏(KD)是深度神经网络中一种广为人知的训练范式，其中大模型(教师模型)习得的知识被迁移到小模型(学生模型)。KD已被证明是一种能显著提升学生在包括目标检测在内的多种任务上性能的有效技术。现有的KD技术大多依赖于中间特征层面的引导，这通常通过在训练过程中最小化教师与学生激活值之间的lp范数距离来实现。本文提出一种基于结构相似性(SSIM)的逐像素独立lp范数替代方案。通过考虑额外的对比度与结构线索，损失函数设计中纳入了特征空间中的特征重要性、相关性及空间依赖性。在MSCOCO上的大量实验证明了我们的方法在不同训练方案和架构下的有效性。我们的方法仅增加极少的计算开销，实现简单，同时显著优于标准的lp范数。此外，它还在性能上超越了使用基于注意力采样机制的更复杂的最先进KD方法，包括在使用Faster R-CNN R-50时相比原始模型获得+3.5 AP的提升。
引用
@article{arxiv.2211.13133,
title = {Structural Knowledge Distillation for Object Detection},
author = {Philip de Rijk and Lukas Schneider and Marius Cordts and Dariu M. Gavrila},
journal= {arXiv preprint arXiv:2211.13133},
year = {2022}
}