寻找你的(3D)中心：使用学习损失进行3D目标检测

大规模语义标注数据集在2D图像中很容易获取，然而在3D场景中却难以实现。ShapeNet等3D存储库中的目标虽然被标注，但遗憾的是它们仅处于孤立状态，缺乏上下文。3D场景可以通过距离扫描仪在城市级别尺度上获取，但带有语义标签的却少得多。为了解决这种差异，我们引入了一种新的优化过程，允许使用原始3D扫描训练3D检测，同时仅使用低至5%的目标标签，仍能实现可比的性能。我们的优化使用了两个网络。一个场景网络将整个3D场景映射到一组3D目标中心。由于我们假设场景未由中心标注，因此无法使用诸如Chamfer等经典损失来训练它。相反，我们使用另一个网络来模拟损失。该损失网络在一个小的标注子集上训练，并在存在干扰的情况下将非中心的3D目标映射到其自身的中心。该函数与监督损失提供的梯度非常相似，因此可以用来替代它。我们的评估表明，在低得多的监督水平下实现了具有竞争力的保真度，或者在可比的监督水平下实现了更高的质量。补充材料可在：https://dgriffiths3.github.io 找到。