基于几何方法从人类演示视频中学习可泛化任务表示
机器人学
2022-03-01 v1 人工智能
摘要
我们研究从人类演示视频中进行可泛化任务学习的问题，无需在机器人上额外训练或使用预录机器人运动。给定一组展示使用不同物体/工具（类别物体）完成某任务的人类演示视频，我们旨在学习一种对类别物体具有泛化能力并支持高效控制器设计的视觉观测表示。我们提出将几何任务结构引入表示学习问题，该结构从人类演示视频中几何地编码任务规范，并通过在类别物体间建立任务规范对应来实现泛化。具体而言，我们提出CoVGS-IL，其使用图结构任务函数在结构约束下学习任务表示。我们的方法通过从不同物体中选取内连接关系在几何约束下定义同一任务的几何特征来实现任务泛化。随后，学习到的任务表示通过未标定视觉伺服(UVS)迁移至机器人控制器，从而免除了额外机器人训练或预录机器人运动的需求。
引用
@article{arxiv.2202.13604,
title = {Generalizable task representation learning from human demonstration videos: a geometric approach},
author = {Jun Jin and Martin Jagersand},
journal= {arXiv preprint arXiv:2202.13604},
year = {2022}
}
备注
Accepted in ICRA 2022