EmBARDiment：面向扩展现实的具身AI生产力代理
人机交互
2025-03-13 v2 多智能体系统
摘要
运行由大语言模型（LLM）驱动的聊天机器人的XR设备有望成为始终在线的代理，从而实现更高效的生产力场景。当前基于屏幕的聊天机器人无法充分利用XR中可用的全套自然输入，包括内朝向传感器数据，而是过度依赖显式的语音或文本提示，有时还辅以作为查询一部分的多模态数据。我们提出了一种利用注意力框架的解决方案，该框架从用户动作、眼动和XR环境中的上下文记忆中隐式地推导上下文。我们的工作减少了工程化显式提示的需求，促进了扎根于实际、直观的交互，从而为聊天机器人提取用户洞察。
引用
@article{arxiv.2408.08158,
title = {EmBARDiment: an Embodied AI Agent for Productivity in XR},
author = {Riccardo Bovo and Steven Abreu and Karan Ahuja and Eric J Gonzalez and Li-Te Cheng and Mar Gonzalez-Franco},
journal= {arXiv preprint arXiv:2408.08158},
year = {2025}
}