关于多模态生成式 AI 在 AR 叙事中的探索性研究
人机交互
2025-05-23 v1
摘要
由于其多模态性和交互性，AR 叙事受到了广泛关注。然而，为 AR 叙事生成多模态内容需要专家知识和大量工作才能准确传达叙述者的意图。最近，生成式 AI (GenAI) 在多模态内容生成方面展现出巨大的潜力。尽管存在这种潜在益处，但当前研究需要验证 AI 生成内容 (AIGC) 在 AR 叙事中的效果。因此，我们进行了一项探索性研究，以调查 GenAI 的应用。通过分析 223 个 AR 视频，我们确定了多模态 AR 叙事的设计空间。基于该设计空间，我们开发了一个促进 AR 叙事中原子元素生成的测试平台。通过与 30 名经验丰富的叙事者和现场演示者的两项研究，我们 1. 揭示了参与者对不同模态的偏好，2. 评估了与 AI 交互生成内容的效果，3. 评估了 AIGC 在 AR 叙事中的质量。我们进一步讨论了未来结合 GenAI 的 AR 叙事的设计考量。
引用
@article{arxiv.2505.15973,
title = {An Exploratory Study on Multi-modal Generative AI in AR Storytelling},
author = {Hyungjun Doh and Jingyu Shi and Rahul Jain and Heesoo Kim and Karthik Ramani},
journal= {arXiv preprint arXiv:2505.15973},
year = {2025}
}