基于3D等变性的自监督宽基线视觉伺服

视觉伺服中具有挑战性的输入设置之一是最初和目标的相机视角相距很远。此类设置很困难，因为宽基线会导致物体外观的剧烈变化并引起遮挡。本文提出了一种用于宽基线图像的新颖自监督视觉伺服方法，其不需要3D真值监督。现有的回归相对于物体的绝对相机位姿的方法需要物体的3D真值数据，形式为3D边界框或网格。我们通过利用称为3D等变性（表示作为3D变换的函数以可预测的方式被变换）的几何性质来学习一致的视觉表示。为确保特征空间忠实于底层测地空间，将测地保持约束与等变性结合使用。我们设计了一个孪生网络，可以有效强制这两种几何性质而无需3D监督。利用学习到的模型，相对变换可以简单地通过遵循学习空间中的梯度来推断，并用作闭环视觉伺服的反馈。我们的方法在来自YCB数据集的物体上进行评估，在视觉伺服任务（或相对于使用3D监督的最先进方法的物体对齐任务）上显示出有意义的优于表现。我们的方法产生了超过35%的平均距离误差降低和超过90%的成功率（3cm误差容限）。