Dreamcrafter：通过灵活的生成性输入和输出进行3D辐射场的沉浸式编辑
人机交互
2025-12-29 v2 计算机视觉与模式识别
摘要
authoring 3D 场景是空间计算应用的核心任务。当前降低技术门槛的两种思路是：（1）聚焦于沉浸式、直接操作3D内容，或（2）利用AI技术捕获真实场景（如NeRFs、3D Gaussian Splatting等3D辐射场），并以更高的抽象层次进行修改，代价是高延迟。我们统合了这两种方法的互补优势，探讨如何将生成式AI技术整合到实时、沉浸式的3D辐射场编辑中。我们引入Dreamcrafter，一个基于VR的3D场景编辑系统，该系统：（1）提供模块化架构以集成生成式AI算法；（2）结合不同层次的控制方式创建物体，包括自然语言和直接操作；（3）引入代理表示（proxy representations），支持在高延迟操作期间进行交互。我们贡献了关于控制偏好的实证发现，并讨论了超越文本输入的生成式AI界面如何提升场景编辑和世界构建中的创造力。
引用
@article{arxiv.2512.20129,
title = {Dreamcrafter: Immersive Editing of 3D Radiance Fields Through Flexible, Generative Inputs and Outputs},
author = {Cyrus Vachha and Yixiao Kang and Zach Dive and Ashwat Chidambaram and Anik Gupta and Eunice Jun and Bjoern Hartmann},
journal= {arXiv preprint arXiv:2512.20129},
year = {2025}
}
备注
CHI 2025, Project page: https://dream-crafter.github.io/