SimNet：通过立体视觉从纯合成数据实现鲁棒未知物体操控
机器人学
2021-07-01 v1 计算机视觉与模式识别
机器学习
摘要
在非结构化环境中对未知物体进行机器人操控是一个具有挑战性的问题，这源于形状、材质、排布和光照条件的多样性。即便进行大规模真实世界数据采集，跨各种光照条件对透明与反射物体的鲁棒感知与操控仍然困难。为应对这些挑战，我们提出了一种执行机器人感知仿真到现实迁移的方法。底层模型 SimNet 被训练为单一多头部神经网络，以模拟立体数据为输入，以模拟物体分割掩码、3D 有向边界框（OBBs）、物体关键点与视差为输出。SimNet 的一个关键组成部分是引入了一个预测视差的习得立体子网络。SimNet 在 2D 车辆检测、未知物体检测以及可变形物体关键点检测上进行了评估，并显著优于使用结构光 RGB-D 传感器的基线。通过利用 OBB 与关键点预测推断抓取位置，SimNet 可用于在我们的四台 Toyota HSR 机器人组成的机队于四个家庭环境中对未知物体进行端到端操控，涵盖简单与困难场景。在未知物体抓取实验中，来自基线 RGB-D 网络与 SimNet 的预测均能成功抓取大多数简单物体。然而，RGB-D 基线仅抓取了 35% 的困难（如透明）物体，而 SimNet 抓取了 95%，表明 SimNet 能够在未知环境中实现对未知物体（包括透明物体）的鲁棒操控。
引用
@article{arxiv.2106.16118,
title = {SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic Data via Stereo},
author = {Thomas Kollar and Michael Laskey and Kevin Stone and Brijen Thananjeyan and Mark Tjersland},
journal= {arXiv preprint arXiv:2106.16118},
year = {2021}
}
备注
19 pages, 13 figures