sMoRe：利用 LLM 与生成式 AI 增强混合现实空间中的物体操作与组织
人机交互
2024-11-19 v1
摘要
在混合现实（MR）环境中，理解空间并创建虚拟物体对于提供直观且丰富的用户体验至关重要。本文介绍了 sMoRe（Spatial Mapping and Object Rendering Environment，空间映射与物体渲染环境），这是一款将生成式 AI（GenAI）与大语言模型（LLM）相结合的 MR 应用，旨在辅助用户在物理空间中创建、放置和管理虚拟物体。sMoRe 允许用户通过语音或文本命令，在指定空间约束的同时使用 GenAI 创建和放置虚拟物体。该系统利用 LLM 解释用户命令、分析当前场景并确定最佳位置。此外，sMoRe 集成了文本到 3D 生成式 AI，可根据用户描述动态创建 3D 物体。我们的用户研究表明，sMoRe 在增强用户对 MR 环境的理解、交互与组织方面具有有效性。
引用
@article{arxiv.2411.11752,
title = {sMoRe: Enhancing Object Manipulation and Organization in Mixed Reality Spaces with LLMs and Generative AI},
author = {Yunhao Xing and Que Liu and Jingwu Wang and Diego Gomez-Zara},
journal= {arXiv preprint arXiv:2411.11752},
year = {2024}
}