稀疏代码提升：高效3D语言高斯渲染
计算机视觉与模式识别
2026-05-14 v1
摘要
3D语言高斯渲染(3DLGS)将3D高斯渲染与语言对齐的视觉特征相结合，用于开放词汇3D场景理解。核心挑战在于高效地将高维视觉语言嵌入与数百万个3D高斯关联，同时保持高效特征渲染以支持文本查询。在现有方法中，要么直接存储高斯上的稠密特征，导致存储成本高和渲染缓慢，要么通过高昂的场景级优化和重复特征光栅化学习紧凑表示。现有方法无法同时实现快速3D语义重建、高效存储和快速渲染。我们提出SCOUP(稀疏代码提升)，通过将语言表示学习从3D高斯优化中解耦，来解决这三个问题。与其直接在3D中操作，我们完全使用与2D图像区域相关联的特征学习稀疏码本表征，将每个区域与稀疏码本系数的集合关联。我们随后通过加权稀疏聚合将这些系数提升到3D高斯，使用高斯到像素的关联，将每个高斯在多个视角下跨码本原子累积系数。通过Top-K筛选，从而提取每个高斯最具代表性的多视角系数，实现高效存储和快速渲染。我们的方法在训练速度上实现了最高400倍的加速，同时在渲染速度方面比现有最先进方法高出3倍。在多个基准测试中，SCOUP在开放词汇查询准确性方面与现有方法相当或优于。
引用
@article{arxiv.2605.13600,
title = {Sparse Code Uplifting for Efficient 3D Language Gaussian Splatting},
author = {Lovre Antonio Budimir and Yushi Guan and Steve Ryhner and Sven Lončarić and Nandita Vijaykumar},
journal= {arXiv preprint arXiv:2605.13600},
year = {2026}
}
备注
18 pages (9 pages main paper), 10 figures, preprint