分割、提升与拟合：基于二维提示的自动三维形状标注

本文提出了一种从二维点或框提示自动标注三维物体的算法，特别关注自动驾驶中的应用。与以往方法不同，我们的自动标注器预测的是三维形状而非边界框，且无需在特定数据集上进行训练。我们提出了一种分割、提升与拟合（SLF）范式来实现这一目标。首先，我们使用分割一切模型（SAM）从提示中分割出高质量的实例掩码，并将剩余问题转化为从给定的二维掩码预测三维形状。由于该问题的不适定性，多个三维形状可能投影为相同的掩码，这带来了巨大挑战。为解决此问题，我们将二维掩码提升至三维形态，并采用梯度下降法调整其位姿与形状，直至投影与掩码拟合且表面与周围激光雷达点云相符。值得注意的是，由于未在特定数据集上训练，SLF 自动标注器不会像其他方法那样过拟合训练集中有偏的标注模式，从而提升了在不同数据集上的泛化能力。在 KITTI 数据集上的实验结果表明，SLF 自动标注器能生成高质量的边界框标注，在 IoU 为 0.5 时的 AP 接近 90%。使用生成的伪标签训练的检测器，其性能几乎与使用真实标注训练的检测器相当。此外，SLF 自动标注器在精细形状预测方面展现出有前景的结果，为动态物体的占用标注提供了一种潜在的替代方案。