kPAM：用于类别级机器人操作的语义关键点可供性

我们希望机器人能够通过将某一类别中任意对象实例放置到一组期望的目标状态中来实现有目的的操作。现有的操作流水线通常将期望配置指定为目标 6-DOF 位姿，并依赖显式估计被操作对象的位姿。然而，用定义在固定模板上的参数化变换表示对象无法捕捉类别内巨大的形状差异，且在类别级别指定目标位姿在物理上可能不可行或无法完成任务——例如，知道一个咖啡杯相对于某个规范杯子的位姿和尺寸不足以成功地将其通过把手挂到架子上。因此，我们提出了一种使用语义 3D 关键点作为对象表示的类别级操作新公式。这种关键点表示使得能够将操作目标简单且可解释地指定为关键点上的几何代价和约束，从而灵活地推广现有的基于位姿的操作方法。使用此公式，我们将操作策略分解为实例分割、3D 关键点检测、基于优化的机器人动作规划和基于局部稠密几何的动作执行。这种分解使我们能够利用这些子问题的进展并将它们组合成一个通用且有效的从感知到动作的操作流水线。我们的流水线对大的类别内形状变化和拓扑改变具有鲁棒性，因为关键点表示忽略了与任务无关的几何细节。大量硬件实验表明，我们的方法能够可靠地完成类别中前所未见对象的任务，例如将具有显著形状变化的鞋子和杯子放置到类别级目标配置中。