融合语言、视觉与示教信息的机器人策略模仿学习
机器人学
2019-11-27 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
在这项工作中,我们提出了一种新颖的端到端模仿学习方法,该方法结合自然语言、视觉与运动信息以生成任务的抽象表示,该表示进而用于在运行时合成具体的运动控制器。这种多模态方法能够泛化到广泛的环境条件,并允许最终用户通过语言交流来指导机器人策略。我们通过大量仿真实验对所提方法进行了经验性验证,结果表明该方法在多种条件下实现了高任务成功率,同时保持良好的概率可解释性。
引用
@article{arxiv.1911.11744,
title = {Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration},
author = {Simon Stepputtis and Joseph Campbell and Mariano Phielipp and Chitta Baral and Heni Ben Amor},
journal= {arXiv preprint arXiv:1911.11744},
year = {2019}
}
备注
Accepted to the NeurIPS 2019 Workshop on Robot Learning: Control and Interaction in the Real World, Vancouver, Canada