FlowBot3D：学习 3D 关节运动流以操控关节物体

我们探索一种感知并操控 3D 关节物体的新方法，该方法可泛化以使机器人能够关节化未见过的物体类别。我们提出一个基于视觉的系统，其学习预测多种关节物体各部件的可能运动，以指导系统下游的运动规划来关节化这些物体。为预测物体运动，我们训练一个神经网络输出一个稠密向量场，表示点云中点在关节化下的逐点运动方向。随后我们基于该向量场部署一个解析运动规划器，以实现产生最大关节化程度的策略。我们在仿真中完全训练该视觉系统，并展示我们的系统无论在仿真还是真实世界中都能泛化到未见过的物体实例与新颖类别，且无需微调即将我们的策略部署于 Sawyer 机器人上。结果表明，我们的系统在仿真与真实世界实验中均达到最先进的性能。