CoGen3D:用于虚拟现实3D资产生成的智能体式人机协同设计流程
人机交互
2026-07-04 v1 人工智能
摘要
为虚拟现实创建3D资产需要建模专业知识,这限制了沉浸式体验的创作。现有的生成式AI工具依赖于无约束的、命令驱动的提示,缺乏用户在渲染前表达意图和验证设计所需的对话式脚手架。为了解决这个问题,我们引入了CoGen3D,一个智能体式的人机协同设计流程,它主动引导用户完成对话式意图引导、概念图像确认和图像到3D的生成,并可直接部署到沉浸式场景中。我们通过一项用户研究(N=120)评估了该系统,该研究跨越六个情感多样的沉浸式场景,观察了60名设计组参与者为场景共同创建3D资产,以及60名验证组参与者体验带有生成资产的场景。我们的研究结果表明,协同设计的资产与更高的场景参与度和转变的情感反应相关,而参与者通常更喜欢概念图像而不是最终的3D资产,并且对自己创作中的质量下降没有表现出更高的容忍度。对人机对话的分析进一步表明,目标环境塑造了用户的对话模式。我们的结果表明,我们分阶段的、基于意图的协同设计可以使虚拟现实创作民主化,并将沉浸式内容创作从技术执行转向协作式空间设计。
引用
@article{arxiv.2607.03731,
title = {CoGen3D: An Agentic Human-AI Co-Design Pipeline for 3D Asset Generation for Virtual Reality},
author = {Weiwei Jiang and Wanyu He and Zheyu Tan and Zheyuan Kuang and Difeng Yu and Shinobu Hasegawa and Sven Mayer and Zhanna Sarsenbayeva},
journal= {arXiv preprint arXiv:2607.03731},
year = {2026}
}