MotionBits: 通过刚性身体运动水平分析的视频分割

刚性身体是现实世界中可操作的最小单元，理解它们如何物理相互作用是实现具身推理和机器人操作的基本要求。因此，对移动刚性身体的精确检测、分割和跟踪对于使推理模块能够在多样化环境中进行解释和行动至关重要。然而，当前在语义分组上训练的分割模型在为完成具身任务提供有意义的交互层面线索方面受限。为此，我们引入了 MotionBit 概念，不同于先前的表述，定义通过运动水平分割中最小单元通过运动学空间扭转等价性，独立于语义。在本文中，我们贡献了 (1) MotionBit 概念与定义，(2) 用于评估机器人操作和人类野外视频中移动刚性身体分割的手标注基准数据集 MoRiBo，以及 (3) 一种无学习的基于图的 MotionBits 分割方法，在 MoRiBo 基准上以 SOTA 具身感知方法为基准提高了 37.3% 的宏平均 mIoU。最后，我们展示了 MotionBits 分割对于下游具身推理和操作任务的有效性，突显其作为理解物理相互作用基本基本原语的重要性。