通过手眼协调实现泛化：用于学习空间不变视觉运动控制的行为空间

Chen Wang; Rui Wang; Ajay Mandlekar; Li Fei-Fei; Silvio Savarese; Danfei Xu

通过手眼协调实现泛化：用于学习空间不变视觉运动控制的行为空间

机器人学 2021-08-18 v2 人工智能机器学习

作者: Chen Wang , Rui Wang , Ajay Mandlekar , Li Fei-Fei , Silvio Savarese , Danfei Xu

摘要

模仿学习（IL）是一种从离线演示数据中学习视觉运动技能的有效框架。然而，IL 方法常无法泛化到训练数据未覆盖的新场景配置。另一方面，人类能在多变条件下操控物体。此类能力的关键在于手眼协调，这是一种使人类能够自适应地将动作指向任务相关物体、且不受物体绝对空间位置影响的认知能力。在本工作中，我们提出一种可学习的动作空间——手眼动作网络（HAN），它可通过从人类遥操作演示中学习来近似人类的手眼协调行为。通过一组具有挑战性的多阶段操控任务，我们表明配备 HAN 的视觉运动策略能够继承手眼协调的关键空间不变性，并对新场景配置实现零样本泛化。额外材料见 https://sites.google.com/stanford.edu/han

关键词

模仿学习视觉运动控制手眼协调空间不变性零样本泛化操控

引用

@article{arxiv.2103.00375,
  title  = {Generalization Through Hand-Eye Coordination: An Action Space for Learning Spatially-Invariant Visuomotor Control},
  author = {Chen Wang and Rui Wang and Ajay Mandlekar and Li Fei-Fei and Silvio Savarese and Danfei Xu},
  journal= {arXiv preprint arXiv:2103.00375},
  year   = {2021}
}

备注

First two authors contributed equally

通过手眼协调实现泛化：用于学习空间不变视觉运动控制的行为空间

摘要

关键词

引用

备注

相关论文