BloomScene：轻量级结构化3D高斯溅写用于跨模态场景生成
计算机视觉与模式识别
2025-09-03 v2 人工智能
图形学
机器学习
摘要
随着虚拟现实应用的普及，3D场景生成已成为新的具有挑战性的研究前沿。3D场景具有高度复杂的结构，需要确保输出稠密、连贯且包含所有必要结构。许多当前的3D场景生成方法依赖于预训练的文本到图像扩散模型和单目深度估计器。然而，生成的场景占用大量存储空间，常缺乏有效的正则化方法，导致几何畸变。为此，我们提出了BloomScene，一种用于跨模态场景生成的轻量级结构化3D高斯溅写方法，可从文本或图像输入创建多样且高质量的3D场景。具体而言，提出了一种跨模态渐进式场景生成框架，用于利用递增点云重建和3D高斯溅写生成连贯场景。此外，我们提出了基于层次深度先验的正则化机制，该机制利用多级约束对深度准确性和平滑性进行约束，以增强生成场景的真实感和连续性。最终，我们提出了结构化上下文引导的压缩机制，该机制利用结构化哈希网格建模非组织化锚点属性的上下文，显著消除结构冗余并降低存储开销。跨越多个场景的全面实验表明，我们的框架在与多个基线方法的比较中展现出显著的潜力和优势。
引用
@article{arxiv.2501.10462,
title = {BloomScene: Lightweight Structured 3D Gaussian Splatting for Crossmodal Scene Generation},
author = {Xiaolu Hou and Mingcheng Li and Dingkang Yang and Jiawei Chen and Ziyun Qian and Xiao Zhao and Yue Jiang and Jinjie Wei and Qingyao Xu and Lihua Zhang},
journal= {arXiv preprint arXiv:2501.10462},
year = {2025}
}
备注
Accepted by AAAI 2025. Code: https://github.com/SparklingH/BloomScene