基于 X-Ray 蒸馏的弱到强 3D 目标检测
计算机视觉与模式识别
2024-04-02 v1
摘要
本文解决了基于 LiDAR 的 3D 目标检测中稀疏性与遮挡的关键挑战。现有方法通常依赖补充模块或特定架构设计，这可能限制其在新兴及演进架构中的适用性。据我们所知，我们是首个提出一种可无缝集成至任意现有 3D 目标检测框架的通用技术，标志着 3D 计算机视觉中弱到强泛化的首个实例。我们引入了一个名为基于物体完整帧的 X-Ray 蒸馏的新框架，适用于监督与半监督设定，利用了点云序列的时序特性。该方法从前后 LiDAR 帧中提取关键信息，创建从多个视角表示物体的物体完整帧，从而解决遮挡与稀疏问题。鉴于在线推理期间无法生成物体完整帧，我们在师生框架内利用知识蒸馏。该技术鼓励较强的学生模型模拟处理简单且信息丰富的物体完整帧的较弱教师模型的行为，有效地提供了如同 X 射线透视般对物体的全面视角。我们提出的方法在半监督学习中以 1-1.5 mAP 超越了 SOTA，并在标准自动驾驶数据集上将五种成熟的监督模型性能提升了 1-2 mAP，即使使用默认超参数也是如此。物体完整帧的代码可在此获取：https://github.com/sakharok13/X-Ray-Teacher-Patching-Tools。
引用
@article{arxiv.2404.00679,
title = {Weak-to-Strong 3D Object Detection with X-Ray Distillation},
author = {Alexander Gambashidze and Aleksandr Dadukin and Maksim Golyadkin and Maria Razzhivina and Ilya Makarov},
journal= {arXiv preprint arXiv:2404.00679},
year = {2024}
}
备注
Computer Vision and Pattern Recognition 2024