分析 LLM 辅助三维场景操作的多模态交互策略
人机交互
2026-04-09 v2 人工智能
摘要
随着大型语言模型（LLM）在沉浸式环境三维内容中的应用越来越多，研究用户行为以识别交互模式和潜在障碍，对于指导未来涉及 LLM 的沉浸式内容创建和编辑系统的设计至关重要。在一项有 12 名参与者参与的实证用户研究中，我们将定量使用数据与体验后问卷反馈相结合，揭示了 LLM 辅助三维场景编辑系统中的常见交互模式和关键障碍。我们确定了改进三维设计工具中自然语言界面的机会，并为未来的 LLM 集成三维内容创建系统提出了设计建议。通过一项实证研究，我们证明了 LLM 辅助的交互式系统可以在沉浸式环境中被高效使用。
引用
@article{arxiv.2410.22177,
title = {Analyzing Multimodal Interaction Strategies for LLM-Assisted Manipulation of 3D Scenes},
author = {Junlong Chen and Jens Grubert and Per Ola Kristensson},
journal= {arXiv preprint arXiv:2410.22177},
year = {2026}
}
备注
Published in the IEEE VR (IEEE Conference on Virtual Reality and 3D User Interfaces) 2025 Proceedings