TaskNPoint：如何在几分钟内教会你的人形机器人打反手球

我们如何学习打网球反手？不是通过观看电视上数千小时的网球比赛——我们与教练合作并练习。我们认为这也是教人形机器人动态技能的正确方法。这源于动态技能的结构特性：结果由轨迹中短暂而关键的部分决定——对于反手球，是球拍在球接触点周围约20厘米的行程。正确把握这个交互窗口需要协调整个运动，使控制、物理和形态协同作用。因此，学习简化为掌握少数几个不同的动作，并为每个动作练习直到窗口正确。为此，我们引入了TaskNPoint，一种训练协议，使教练-学习者的分工明确。人类教练提供四个输入：一组离散的技能（例如不同的击球）、每个技能的一个演示、交互窗口的识别以及目标。在物理上真实的模拟环境中学习填补了每个动作轨迹，并提供对未建模事件的鲁棒性。至关重要的是，训练期间的随机目标采样使单个演示能够零样本泛化到未见过的目标位置。我们在Unitree G1人形机器人上测试了这种方法，该机器人击打人类投掷的球的正手和反手球，踢入足球，并从新位置拾取和放置箱子。我们发现，从简短的人类视频演示和单GPU上不到一小时的训练中学习是成功的，无需针对每个任务调整奖励。