面向三维目标检测的表达差异感知蒸馏
计算机视觉与模式识别
2023-08-22 v1
摘要
本文致力于为紧凑型三维检测器开发知识蒸馏(KD)。我们观察到,现有的KD方法仅在教师模型与学生模型具有相似中间特征表达时才显现其有效性。这或许可以解释为何在构建极端紧凑的三维检测器时它们效果欠佳,因为三维点云固有的稀疏性与不规则性主要导致了显著的表征差异。本文提出一种新颖的表达差异感知蒸馏(RDD)方法,以解决表征差异问题并缩小紧凑学生模型与过参数化教师模型之间的性能差距。该方法从信息瓶颈(IB)的创新视角构建RDD,可有效最小化学生与教师在提议区域对上的特征和logits差异。我们进行了大量实验以证明RDD相对于现有KD方法的优越性。例如,在nuScenes数据集上,RDD将CP-Voxel-S的mAP提升至57.1%,且仅占用42%的FLOPs,甚至超越了教师模型性能。
引用
@article{arxiv.2308.10308,
title = {Representation Disparity-aware Distillation for 3D Object Detection},
author = {Yanjing Li and Sheng Xu and Mingbao Lin and Jihao Yin and Baochang Zhang and Xianbin Cao},
journal= {arXiv preprint arXiv:2308.10308},
year = {2023}
}
备注
Accepted by ICCV2023. arXiv admin note: text overlap with arXiv:2205.15156 by other authors