PointDistiller：面向高效紧凑三维检测的结构化知识蒸馏
计算机视觉与模式识别
2022-05-24 v1 机器学习
摘要
点云表示学习的显著突破促进了其在自动驾驶汽车与虚拟现实等实际应用中的使用。然而，这些应用通常不仅要求准确，还要求高效的三维目标检测。近来，知识蒸馏被提出作为一种有效的模型压缩技术，它将知识从过参数化的教师模型迁移到轻量级学生模型，并在 2D 视觉中取得一致效果。然而，由于点云的稀疏性与不规则性，直接将先前基于图像的知识蒸馏方法应用于点云检测器通常导致不尽如人意的表现。为弥补这一差距，本文提出 PointDistiller，一种面向基于点云的三维检测的结构化知识蒸馏框架。具体而言，PointDistiller 包含局部蒸馏，其利用动态图卷积与重加权学习策略提取并蒸馏点云的局部几何结构，从而突出学生对关键点或体素的学习以提升知识蒸馏效率。在基于体素与基于原始点的检测器上的大量实验证明了我们的方法相对于七种先前知识蒸馏方法的有效性。例如，我们 4 倍压缩的 PointPillars 学生在 BEV 与 3D 目标检测上分别取得 2.8 与 3.4 mAP 提升，并分别超越其教师模型 0.9 与 1.8 mAP。代码已发布于 https://github.com/RunpeiDong/PointDistiller。
引用
@article{arxiv.2205.11098,
title = {PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection},
author = {Linfeng Zhang and Runpei Dong and Hung-Shuo Tai and Kaisheng Ma},
journal= {arXiv preprint arXiv:2205.11098},
year = {2022}
}