DetMatch：双教师优于单教师，用于联合 2D 与 3D 半监督目标检测
计算机视觉与模式识别
2022-03-18 v1 人工智能
机器学习
机器人学
摘要
尽管大量 3D 检测工作利用了 RGB 图像与点云之间的互补关系，但半监督目标识别更广义框架的发展仍未受多模态融合的影响。现有方法针对 2D 与 3D 半监督学习开发了独立的流程，尽管存在配对的图像与点云帧。观察到每种传感器的不同特性使其偏向于检测不同的物体，我们提出 DetMatch，一个用于 2D 与 3D 模态联合半监督学习的灵活框架。通过识别在两传感器中均被检测到的物体，我们的流程生成更干净、更鲁棒的一组伪标签，既表现出更强的性能，又遏制了单模态误差传播。此外，我们利用 RGB 图像更丰富的语义来纠正错误的 3D 类别预测并改善 3D 框的定位。在具有挑战性的 KITTI 与 Waymo 数据集上评估，我们优于强半监督学习方法并观察到更高质量的伪标签。代码将于 https://github.com/Divadi/DetMatch 发布。
引用
@article{arxiv.2203.09510,
title = {DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection},
author = {Jinhyung Park and Chenfeng Xu and Yiyang Zhou and Masayoshi Tomizuka and Wei Zhan},
journal= {arXiv preprint arXiv:2203.09510},
year = {2022}
}
备注
https://github.com/Divadi/DetMatch