基于SDF形状先验可微渲染的3D物体自动标注
计算机视觉与模式识别
2020-04-03 v2
摘要
我们提出了一种自动标注流程，从预训练的开箱即用2D检测器和稀疏LIDAR数据中恢复9D长方体与3D形状。我们的自动标注方法通过考虑学习到的形状先验并优化几何与物理参数，来解决这一不适定逆问题。为应对这一挑战性难题，我们采用了一种新颖的针对有符号距离场（SDF）的可微形状渲染器，并与归一化物体坐标空间（NOCS）结合使用。我们的方法最初在合成数据上训练以预测形状和坐标，随后利用这些预测对真实样本进行投影与几何对齐。此外，我们还提出了一种课程学习策略，在后续自我改进的标注轮次中，逐步在难度递增的样本上重新训练。我们在KITTI3D数据集上的实验表明，我们能够恢复大量准确的长方体，且这些自动标签可用于训练达到最先进结果的3D车辆检测器。
引用
@article{arxiv.1911.11288,
title = {Autolabeling 3D Objects with Differentiable Rendering of SDF Shape Priors},
author = {Sergey Zakharov and Wadim Kehl and Arjun Bhargava and Adrien Gaidon},
journal= {arXiv preprint arXiv:1911.11288},
year = {2020}
}
备注
CVPR 2020 (Oral). 8 pages + supplementary material. The first two authors contributed equally to this work