VRsketch2Gaussian：基于高斯溅写的3D VR草图引导3D物体生成
计算机视觉与模式识别
2025-03-18 v1
摘要
我们提出VRSketch2Gaussian，首个融合3D高斯溅写表示的VR草图引导、多模态、原生3D物体生成框架。作为本工作的一部分，我们引入VRSS（VRSS），首个包含VR草图、文本、图像与3DGS的大规模配对数据集，弥合了多模态VR草图生成领域的鸿沟。我们方法的关键创新包括：1）草图-CLIP特征对齐。我们提出两种对齐策略，构建稀疏VR草图嵌入与丰富CLIP嵌入之间的领域差距，促进VR草图检索与生成任务。2）细粒度多模态条件控制。我们通过显式VR草图实现几何条件控制，通过文本描述实现外观控制。为此，我们提出通用VR草图编码器，有效对齐不同模态。3）高效且高保真的3D原生生成。我们的方法采用3D原生生成方式，实现快速且纹理丰富的3D物体合成。在VRSS数据集上的实验表明，我们的方法能实现高质量、多模态VR草图引导的3D生成。我们认为我们的VRSS数据集和VRsketch2Gaussian方法将为3D生成社区带来便益。
引用
@article{arxiv.2503.12383,
title = {VRsketch2Gaussian: 3D VR Sketch Guided 3D Object Generation with Gaussian Splatting},
author = {Songen Gu and Haoxuan Song and Binjie Liu and Qian Yu and Sanyi Zhang and Haiyong Jiang and Jin Huang and Feng Tian},
journal= {arXiv preprint arXiv:2503.12383},
year = {2025}
}