ImaginateAR：基于 AI 的增强现实中场所 Authoring 工具
人机交互
2025-11-25 v2
摘要
虽然增强现实（AR）能够为玩耍、讲故事和探索植根于物理世界的想法提供新方式，但为非专业用户 authoring 个性化 AR 内容仍然困难，往往需要专业工具和时间。以往的系统探索了 AI 驱动的 XR 设计，但通常依赖手动定义的 VR 环境和固定资产库，限制了创意灵活性和现实相关性。我们介绍 ImaginateAR，这是首个面向 AI 辅助 AR authoring 的移动工具，集成离线场景理解、快速 3D 资产生成与大语言模型（LLM），使用户能够通过自然语言交互创建户外场景。例如，说出“一只正在篝火旁放松的龙”（P7），系统会生成并排列相关资产，用户可进一步手动精炼。我们的技术评估表明，定制管道在生成更准确的户外场景图和更快生成 3D 网格方面优于先前方法。为期三阶段的用户研究（N=20）揭示了 AI 的偏好角色、用户在自由形式使用中的创作方式，以及面向未来 AR authoring 工具的设计启示。ImaginateAR 步步oward 赋予任何人 anywhere 通过语言表达想象力来创建 AR 体验。
引用
@article{arxiv.2504.21360,
title = {ImaginateAR: AI-Assisted In-Situ Authoring in Augmented Reality},
author = {Jaewook Lee and Filippo Aleotti and Diego Mazala and Guillermo Garcia-Hernando and Sara Vicente and Oliver James Johnston and Isabel Kraus-Liang and Jakub Powierza and Donghoon Shin and Jon E. Froehlich and Gabriel Brostow and Jessica Van Brummelen},
journal= {arXiv preprint arXiv:2504.21360},
year = {2025}
}