通过观察学习：从人类视频中对操纵技能进行物理模仿

从视觉数据学习开辟了通过利用人类演示而不必以数学方式逐一指定、而是通过自然任务描述来获取大量操纵行为的可能。本文中，我们提出“通过观察学习”(Learning by Watching, LbW)，一种通过模仿指定任务的单个视频进行策略学习的算法框架。我们方法的关键洞见有两点。首先，由于人类手臂可能与机器人手臂形态不同，我们的框架学习无监督的人到机器人转换以克服形态不匹配问题。其次，为捕获对状态表示学习至关重要的显著区域细节，我们的模型在转换后的机器人视频上执行无监督关键点检测。检测到的关键点构成一种包含语义有意义信息且可直接用于计算奖励与策略学习的结构化表示。我们在五项机器人操纵任务上评估 LbW 框架的有效性，包括到达、推动、滑动、制作咖啡与关闭抽屉。大量实验评估表明，我们的方法优于当前最优方法。