SpaceBlender：通过生成式 3D 场景融合创建上下文丰富的协作空间
人工智能
2024-09-24 v1 人机交互
摘要
人们对使用生成式 AI 为虚拟现实应用创建 3D 空间的兴趣日益浓厚。然而，现有的模型生成的是人工环境，无法有效支持那些得益于融入用户物理上下文的协作任务。为了生成支持 VR 远程临场的环境，我们提出了 SpaceBlender，这是一种利用生成式 AI 技术将用户的物理环境融合为统一虚拟空间的新型管线。该管线通过由几何先验和自适应文本提示引导的深度估计、网格对齐和基于扩散的空间补全等迭代过程，将用户提供的 2D 图像转化为上下文丰富的 3D 环境。在一项初步的被试内研究中，20 名参与者两人一组执行协作式 VR 亲和图任务，我们将 SpaceBlender 与通用虚拟环境和最先进的场景生成框架进行了比较，评估其创建适合协作的虚拟空间的能力。参与者对 SpaceBlender 提供的增强熟悉感和上下文表示赞赏，但也指出生成环境中的复杂性可能会分散任务注意力。基于参与者反馈，我们提出了改进该管线的方向，并讨论了混合空间在不同场景下的价值与设计。
引用
@article{arxiv.2409.13926,
title = {SpaceBlender: Creating Context-Rich Collaborative Spaces Through Generative 3D Scene Blending},
author = {Nels Numan and Shwetha Rajaram and Balasaravanan Thoravi Kumaravel and Nicolai Marquardt and Andrew D. Wilson},
journal= {arXiv preprint arXiv:2409.13926},
year = {2024}
}