面向语音指令的无控制器增强现实机器人仿真控制器
人机交互
2025-02-14 v1 机器人学
摘要
机器人与增强现实（AR）的集成为推动人机交互（HRI）提供了变革性机遇，通过提升易用性、直观性和可及性。本 work 引入一种基于大语言模型（LLM）驱动的无控制器语音指令AR仿真控制系统，使用户能够通过实时操控其虚拟机械臂来遥控机器人。该系统利用自然语言处理（NLP）和AR技术实现——使用 Meta Quest 3 原型——无需物理控制器即可工作，既简化了操作流程，又降低了直接机器人操作可能带来的安全风险。一项初步的用户演示成功验证了该系统的功能，展示了其更安全、更直观和更沉浸式的机器人控制潜力。
引用
@article{arxiv.2502.09142,
title = {LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation},
author = {Yuchong Zhang and Bastian Orthmann and Michael C. Welle and Jonne Van Haastregt and Danica Kragic},
journal= {arXiv preprint arXiv:2502.09142},
year = {2025}
}
备注
Accepted as conference proceeding in International Conference on Human-Computer Interaction 2025 (HCI International 2025)