无标签的好奇心驱动三维目标检测

在本文中，我们着手解决从 2D 图像进行 6-DOF 三维目标检测的任务，其中唯一的监督是我们旨在找到的对象的几何表示。为此，我们去除对 6-DOF 标签（即位置、方向等）的需求，使我们的网络能够以自监督方式在未标记图像上训练。我们通过一个神经网络实现这一点，该网络学习显式的场景参数化，随后传入可微渲染器。我们分析了为何使用可微渲染对三维场景结构进行监督的类似分析-综合的损失不切实际，因为它几乎总是陷入视觉歧义的局部极小值。这可以通过一种新颖的训练形式克服，即采用一个额外的网络来引导优化本身探索整个参数空间，即保持好奇，从而解决这些歧义并找到可行的极小值。