MonoGraspNet：基于单张 RGB 图像的 6 自由度抓取

6 自由度机器人抓取是一个长期未解的问题。近期方法利用强大的 3D 网络从深度传感器提取几何抓取表示，在常见物体上展现出优越精度，但在光度学上具挑战性的物体（例如透明或反射材料物体）上表现不佳。瓶颈在于这些物体的表面因光的吸收或折射无法反射回准确深度。本文中，不同于利用不准确的深度数据，我们提出首个仅用 RGB 的 6 自由度抓取流水线 MonoGraspNet，其利用稳定的 2D 特征同时处理任意物体抓取并克服光度学挑战性物体引发的问题。MonoGraspNet 借助关键点热图与法线图恢复由我们新颖表示刻画的 6 自由度抓取姿态，该表示以带对应深度的 2D 关键点、抓取方向、抓取宽度与角度参数化。真实场景中的大量实验表明，我们的方法在抓取常见物体上可取得有竞争力结果，并在抓取光度学挑战性物体上大幅超越基于深度的对手。为进一步推动机器人操作研究，我们额外标注并开源了一个多视角多场景真实世界抓取数据集，包含 120 个具混合光度复杂度的物体及 20M 准确抓取标签。