用于视点规划与多视图重建的高阶函数网络

我们考虑为机器人规划视点以获取物体图像用于视觉检测与重建的问题。与需要物体三维模型作为输入的离线方法或仅依赖局部测量的在线方法不同，我们的方法使用了一个编码大量物体形状信息的神经网络。我们基于近期能够从单张图像生成物体完整三维重建的深度学习方法来构建。具体而言，在这项工作中，我们扩展了近期一种使用高阶函数（HOF）来表示物体形状的方法。我们提出了该方法的一种新推广，以多张图像作为输入，并建立了可见性与重建质量之间的联系。这种关系构成了我们视点规划方法的基础，其中我们计算视点以尽可能少的图像视觉覆盖多视图 HOF 网络的输出。实验表明，我们的方法在在线与离线方法之间提供了良好的折衷：与在线方法类似，我们的方法不需要真实的物体模型作为输入。在视点数量方面，它高效得多。在大多数情况下，即便在未经训练的物体类别上，其性能也可与最优离线情况相媲美。