仅标注一次：通过半监督学习从点云到图像的三维框自适应
计算机视觉与模式识别
2023-09-13 v2
摘要
基于图像的三维目标检测任务期望预测的三维边界框具有“紧密”投影（也称为长方体），其在图像上良好贴合目标轮廓，同时在三维空间保持几何属性，例如物理尺寸、两两正交等。这些要求给标注带来显著挑战。简单地将激光雷达标注的三维框投影到图像会导致不平凡的错位，而直接在图像上绘制长方体无法获取原始三维信息。在本工作中，我们提出一种基于学习的3D框自适应方法，自动调整360°激光雷达三维边界框的最小参数，以完美贴合全景相机的图像外观。仅在训练阶段以少量2D框标注作为引导，我们的网络即可从激光雷达框生成带有三维属性的精确图像级长方体标注。我们称该方法为“仅标注一次”，即在点云上标注一次并自动适配所有周围相机。据我们所知，我们首个关注图像级长方体细化，其良好平衡了准确性与效率，并大幅减少了精确长方体标注的标注工作量。在公开Waymo和NuScenes数据集上的大量实验表明，我们的方法无需手动调整即可在图像上生成人类水平的长方体标注。
引用
@article{arxiv.2211.09302,
title = {You Only Label Once: 3D Box Adaptation from Point Cloud to Image via Semi-Supervised Learning},
author = {Jieqi Shi and Peiliang Li and Xiaozhi Chen and Shaojie Shen},
journal= {arXiv preprint arXiv:2211.09302},
year = {2023}
}