基于粒子的物体从头操作

本文提出基于粒子的物体操作（Prompt），一种机器人从头操作新颖物体的新方法，无需先验物体模型或在大型物体数据集上的预训练。Prompt 的关键要素是一种基于粒子的物体表示，其中每个粒子表示物体中的一个点、该点的局部几何、物理及其他特征，以及它与其他粒子的关系。如同基于模型的操纵解析方法，粒子表示使机器人能够推理物体的几何与动力学以选择合适的操纵动作。如同数据驱动方法，粒子表示是从视觉传感器输入（具体为多视角 RGB 图像）实时在线学习的。因此粒子表示将视觉感知与机器人控制连接起来。Prompt 结合了基于模型推理与数据驱动学习的优势。我们通过实验证明 Prompt 成功处理多种日常物体，其中一些是透明的。它处理各种操纵任务，包括抓取、推动等。我们的实验还显示，尽管 Prompt 不使用任何离线训练数据，但其在日常物体上优于最先进（SOTA）的数据驱动抓取方法。