中文

LightGaussian:实现 15 倍压缩与 200+ FPS 的无界 3D 高斯压缩方法

计算机视觉与模式识别 2024-11-13 v6

摘要

近期基于点的实时神经渲染技术进展推动了 3D 表示的更广泛应用。然而,诸如 3D Gaussian Splatting 等基础方法带来了巨大的存储开销,因为运动恢复结构(SfM)点可增长至数百万,单个无界场景常需吉字节级磁盘空间。这种增长带来了可扩展性挑战并阻碍了 splatting 效率。为此,我们提出 LightGaussian,一种将 3D 高斯转换为更紧凑格式的方法。受网络剪枝启发,LightGaussian 识别对场景重建全局显著性最小的 Gaussian,并应用剪枝与恢复过程以减少冗余同时保持视觉质量。知识蒸馏与伪视图增强随后将球谐系数迁移至更低阶数,产生紧凑表示。基于每个 Gaussian 全局显著性的 Gaussian 向量量化进一步降低位宽且精度损失极小。LightGaussian 在 3D-GS 框架内实现平均 15 倍压缩率,同时将 FPS 从 144 提升至 237,可在 Mip-NeRF 360 与 Tank & Temple 数据集上高效表示复杂场景。所提出的 Gaussian 剪枝方法亦可适配其他 3D 表示(如 Scaffold-GS),展现出强泛化能力。

关键词

引用

@article{arxiv.2311.17245,
  title  = {LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS},
  author = {Zhiwen Fan and Kevin Wang and Kairun Wen and Zehao Zhu and Dejia Xu and Zhangyang Wang},
  journal= {arXiv preprint arXiv:2311.17245},
  year   = {2024}
}

备注

NeurIPS 2024, Project page: https://lightgaussian.github.io/