面向高效紧凑多视角三维检测的结构化知识蒸馏
计算机视觉与模式识别
2022-11-22 v2 人工智能
摘要
从多视角图像中检测三维物体是三维计算机视觉中的基本问题。近来，多视角三维检测任务取得了显著突破。然而，这些视觉 BEV（鸟瞰图）检测模型前所未有的检测性能伴随着庞大的参数量与计算量，使其在边缘设备上难以负担。为解决该问题，本文提出一种结构化知识蒸馏框架，旨在提升现代纯视觉 BEV 检测模型的效率。所提框架主要包括：(a) 时空蒸馏，从不同的时间戳与视角中蒸馏教师模型的信息融合知识；(b) BEV 响应蒸馏，蒸馏教师模型对不同柱体的响应；(c) 权重继承，解决现代 transformer 架构中学生与教师输入不一致的问题。实验结果表明，我们的方法在 nuScenes 基准上平均提升 2.16 mAP 与 2.27 NDS，大幅优于多个基线。
引用
@article{arxiv.2211.08398,
title = {Structured Knowledge Distillation Towards Efficient and Compact Multi-View 3D Detection},
author = {Linfeng Zhang and Yukang Shi and Hung-Shuo Tai and Zhipeng Zhang and Yuan He and Ke Wang and Kaisheng Ma},
journal= {arXiv preprint arXiv:2211.08398},
year = {2022}
}
备注
Codes will be released if this paper is accepted