LILA：语言信息化的潜在动作
机器人学
2021-11-08 v1 人工智能
计算与语言
人机交互
机器学习
摘要
我们提出语言信息化的潜在动作（LILA），一种在人-机器人协作背景下学习自然语言接口的框架。LILA属于共享自主范式：除提供离散语言输入外，人类还被赋予一个低维控制器——例如可左右和上下移动的2自由度（DoF）操纵杆——来操作机器人。LILA学习利用语言来调节该控制器，为用户提供语言信息化的控制空间：给定如“将麦片碗放在托盘上”的指令，LILA可学习一个2-DoF空间，其中一维控制机器人末端执行器到碗的距离，另一维控制机器人末端执行器相对于碗上抓取点的位姿。我们通过真实世界用户研究评估LILA，用户可在操作7-DoF Franka Emika Panda机械臂完成一系列复杂操作任务时提供语言指令。我们表明，LILA模型不仅比模仿学习和末端执行器控制基线更具样本效率和性能，而且在定性上更受用户青睐。
引用
@article{arxiv.2111.03205,
title = {LILA: Language-Informed Latent Actions},
author = {Siddharth Karamcheti and Megha Srivastava and Percy Liang and Dorsa Sadigh},
journal= {arXiv preprint arXiv:2111.03205},
year = {2021}
}
备注
Accepted at the 5th Conference on Robot Learning (CoRL). Joint first authorship. 21 Pages, 11 Figures