基于谱熵的 3D 高斯溶射 (Spectral-GS：驾驭 3D 高斯溶射)
计算机视觉与模式识别
2024-10-16 v2 图形学
摘要
最近，3D 高斯溶射 (3D-GS) 在新视角合成方面取得了令人瞩目的成绩，展现出高保真度和高效性。然而，当采样率提升时，容易出现针状人工。Mip-Splatting 通过对频率约束采用 3D 滤波和对近似超采样采用 2D Mip 滤波来消除这些人工，但倾向于产生过模糊的结果，针状高斯仍可能存在。我们对优化和稠密化期间的协方差矩阵进行谱分析，发现当前 3D-GS 缺乏对形状的感知，仅依赖谱半径和视点位置梯度来决定分割。结果导致小位置梯度和低谱熵的针状高斯未能分割，从而过拟合高频细节。此外，3D-GS 和 Mip-Splatting 中使用的滤波器在放大以合成新视角时会降低谱熵并增加条件数，导致视角不一致和更明显的人工。我们的 Spectral-GS 基于谱分析引入了 3D 形状感知分割和 2D 视角一致滤波策略，有效解决了这些问题，增强了 3D-GS 表现高频细节的能力，同时保持无可见人工，实现了高质量的全景渲染。
引用
@article{arxiv.2409.12771,
title = {Spectral-GS: Taming 3D Gaussian Splatting with Spectral Entropy},
author = {Letian Huang and Jie Guo and Jialin Dan and Ruoyu Fu and Shujie Wang and Yuanqi Li and Yanwen Guo},
journal= {arXiv preprint arXiv:2409.12771},
year = {2024}
}