面向机器人学的基于单图像的自监督三维形状与视角估计

我们提出一种卷积神经网络，用于从单张输入图像联合预测三维形状和估计视角。在训练期间，我们的网络从输入图像中物体的轮廓获取学习信号——一种自监督形式。它不需要三维形状和视角的真值数据。由于依赖如此弱形式的监督，我们的方法可轻松应用于真实世界数据。我们证明，该方法在自然图像上对于形状估计和视角预测均能产生合理的定性与定量结果。与以往方法不同，我们的方法不需要数据集中同一物体实例的多个视图，这显著拓展了在实际机器人场景中的适用性。我们通过使用幻觉出的形状来提升在仿真中及使用 PR2 机器人抓取真实世界物体任务的性能，对此进行了展示。