AnyBody：基于任意关键点引导的自由形式全身人形机器人控制

我们提出了 AnyBody，一种由部署时选择的任意身体关键点子集驱动的统一全身人形机器人控制器。先前基于物理的追踪器要么依赖昂贵的全身动作捕捉和易出错的轨迹重定向，这构成了可扩展数据收集和策略学习的瓶颈；要么将上半身和下半身控制分解为独立的分层表示，牺牲了移动操作所需的协调全身运动。我们通过学习一种单一潜在运动表示来填补这一空白，该表示可由任意关键点子集驱动。为实现这一点，我们首先在大型非结构化运动语料库上训练一个特权教师追踪器，并将其在线蒸馏为潜在空间为单位球的确定性编码器-解码器学生模型。然后，我们训练一个 Transformer 关键点编码器，通过掩码自注意力接受任意身体关键点子集，并将其与特权潜在空间对齐。此外，我们将冻结的解码器视为运动先验，并在潜在空间中使用轻量级残差校正器来特化下游任务。我们通过追踪来自任意关键点子集的大规模人类运动、自由形式控制、灵活遥操作以及学习包括移动、空中书写和障碍物到达在内的下游行为，展示了 AnyBody 的有效性。