不要对你的机器人大吼大叫：物理纠正作为大语言模型驱动机器人的协作接口
机器人学
2024-12-18 v1 人机交互
摘要
我们提出了一种新方法，利用物理交互对大语言模型 (LLM) 驱动的机器人进行实时错误纠正，从而增强人机协作。与依赖语音或文本命令的其他方法不同，该机器人利用 LLM 以自然语言对场景的描述，主动执行 6 自由度线性动态系统 (DS) 命令。在运动过程中，人类可以提供物理纠正，用于重新估计由线性 DS 参数化的期望意图。该纠正后的 DS 可以转换为自然语言，并作为提示的一部分以改善未来的 LLM 交互。我们在混合现实+仿真实验中提供了概念验证结果，展示了物理交互作为 LLM 驱动的人机接口的一种新可能性。
引用
@article{arxiv.2412.12602,
title = {Don't Yell at Your Robot: Physical Correction as the Collaborative Interface for Language Model Powered Robots},
author = {Chuye Zhang and Yifei Simon Shao and Harshil Parekh and Junyao Shi and Pratik Chaudhari and Vijay Kumar and Nadia Figueroa},
journal= {arXiv preprint arXiv:2412.12602},
year = {2024}
}
备注
7 pages, 3 figures; Generative Modeling meets HRI - RSS'24 Workshop