Sketch2Scene：从用户随手草图自动生成交互式 3D 游戏场景
计算机视觉与模式识别
2026-02-09 v2 图形学
摘要
3D 内容生成是许多计算机图形应用的核心，包括视频游戏、电影制作、虚拟和增强现实等。本文提出了一种新颖的深度学习方法，用于自动从用户的随手草图输入（例如手绘草图）中自动生成交互且可玩的 3D 游戏场景。基于草图的输入提供了一种自然且方便的方式来传达用户在内容创建过程中设计意图。在学习过程中，数据不足的挑战（即缺乏大量 3D 场景训练数据）使我们的方法依赖于预训练的 2D 去噪扩散模型，以作为概念指导生成 2D 场景图像。在此过程中，我们采用等距投影模式，以消除未知的相机姿态，同时获得场景布局。从生成的等距图像中，我们使用预训练的图像理解方法将图像分割为有意义的部分，例如地面之外的物体、树木和建筑物，并提取 2D 场景布局。这些分割和布局随后输入到程序化内容生成（PCG）引擎中，例如 3D 视频游戏引擎如 Unity 或 Unreal，以创建 3D 场景。生成的 3D 场景可以无缝集成到游戏开发环境中，并且可立即玩耍。广泛的测试表明，我们的方法能够有效地生成高质量且交互式的 3D 游戏场景，场景布局紧密遵循用户的意图。
引用
@article{arxiv.2408.04567,
title = {Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches},
author = {Yongzhi Xu and Yonhon Ng and Yifu Wang and Inkyu Sa and Yunfei Duan and Zhenhong Sun and Yang Li and Pan Ji and Hongdong Li},
journal= {arXiv preprint arXiv:2408.04567},
year = {2026}
}
备注
Project Page: https://xrvisionlabs.github.io/Sketch2Scene/ Code: https://github.com/Tencent/Triplet_Tuning