基于增强现实头显的多模态接地用于具身人工智能的自然语言驱动任务规划
机器人学
2023-04-27 v1
摘要
生成式建模的最新进展引发了具身人工智能(EAI)领域的复兴。EAI 系统通常将大语言模型部署到能够与其环境交互的物理系统上。在我们对工业领域 EAI 的探索中,我们成功展示了共址人机协作的可行性。具体而言,我们构建了一个实验,其中增强现实(AR)头显在 EAI 智能体与人类操作员之间中介信息交换,以完成多种巡检任务。据我们所知,使用 AR 头显进行多模态接地以及将 EAI 应用于工业任务,是具身 AI 研究中的新颖贡献。此外,我们通过提供关于提示鲁棒性的定量与定性分析,强调了 EAI 构建中的潜在陷阱。
引用
@article{arxiv.2304.13676,
title = {Multimodal Grounding for Embodied AI via Augmented Reality Headsets for Natural Language Driven Task Planning},
author = {Selma Wanna and Fabian Parra and Robert Valner and Karl Kruusamäe and Mitch Pryor},
journal= {arXiv preprint arXiv:2304.13676},
year = {2023}
}
备注
18 pages, 15 figures