基于基础模型的手势信息驱动机器人辅助
机器人学
2023-09-08 v2 人机交互
摘要
手势是人类之间一种基本且重要的非语言交流方式。尤其是指示性手势（例如指向某物体），在语言不可及、受限或高度专业化的情境中，提供了高效表达意图的宝贵手段。因此，机器人必须理解手势，以推断人类意图并与之建立更有效的协调。先前的工作往往依赖刻板的手工编码手势库及其含义。然而，手势的解释通常依赖于上下文，需要更大的灵活性与常识推理。在本工作中，我们提出一个框架 GIRAF，通过利用大语言模型（LLM）的能力来更灵活地解释手势与语言指令。我们的框架能够准确推断人类意图并使其手势含义情境化，以实现更有效的人机协作。我们在桌面操作任务中实例化该框架以解释指示性手势，并证明其有效且受用户青睐，成功率比基线高出 70%。我们进一步通过整理包含 36 种不同任务场景的 GestureInstruct 数据集，展示了 GIRAF 对多种类型手势的推理能力。GIRAF 在 GestureInstruct 的任务中找寻正确计划的成功率达 81%。网站：https://tinyurl.com/giraf23
引用
@article{arxiv.2309.02721,
title = {Gesture-Informed Robot Assistance via Foundation Models},
author = {Li-Heng Lin and Yuchen Cui and Yilun Hao and Fei Xia and Dorsa Sadigh},
journal= {arXiv preprint arXiv:2309.02721},
year = {2023}
}
备注
CoRL 2023