XSkill:跨本体技能发现
机器人学
2023-10-02 v2 人工智能
机器学习
摘要
人类演示视频是机器人学习中广泛可用的数据源,也是表达期望行为的直观用户界面。然而,由于本体差异大且动作参数不可观测,直接从非结构化人类视频中提取可复用的机器人操作技能具有挑战性。为弥合此本体鸿沟,本文提出 XSkill,一种模仿学习框架,其 1) 仅从未经标注的人类与机器人操作视频中发现称为技能原型的跨本体表征,2) 使用条件扩散策略将技能表征迁移至机器人动作,最后 3) 组合所学技能以完成由人类提示视频指定的未知任务。我们在仿真与真实环境中的实验表明,所发现的技能原型促进了未知任务的技能迁移与组合,从而构成一个更通用且可扩展的模仿学习框架。基准、代码及定性结果见 https://xskill.cs.columbia.edu/
引用
@article{arxiv.2307.09955,
title = {XSkill: Cross Embodiment Skill Discovery},
author = {Mengda Xu and Zhenjia Xu and Cheng Chi and Manuela Veloso and Shuran Song},
journal= {arXiv preprint arXiv:2307.09955},
year = {2023}
}