利用聚类识别不必要的 3D 高斯以实现 3D 高斯泼溅的快速渲染
摘要
3D 高斯泼溅（3D-GS）是一种新的渲染方法，在速度和图像质量方面均优于神经辐射场（NeRF）。3D-GS 利用数百万个 3D 高斯来表示 3D 场景，并将这些高斯投影到 2D 图像平面上进行渲染。然而，在渲染过程中，对于当前视图方向存在大量不必要的 3D 高斯，导致识别它们的计算成本显著增加。在本文中，我们提出了一种计算缩减技术，可在不损害图像质量的前提下，实时快速识别当前视图渲染中不必要的 3D 高斯。这是通过对距离相近的 3D 高斯进行离线聚类，然后在运行时将这些聚类投影到 2D 图像平面上来实现的。此外，我们分析了该技术在 GPU 上执行时的瓶颈，并提出了一种无缝支持该方案的高效硬件架构。对于 Mip-NeRF360 数据集，所提出的技术在 2D 图像投影前平均排除了 63% 的 3D 高斯，从而在不牺牲峰值信噪比（PSNR）的情况下将整体渲染计算量减少了近 38.3%。所提出的加速器与 GPU 相比也实现了 10.7 倍的加速。
引用
@article{arxiv.2402.13827,
title = {Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting},
author = {Joongho Jo and Hyeongwon Kim and Jongsun Park},
journal= {arXiv preprint arXiv:2402.13827},
year = {2024}
}
备注
Our claim that Step 1 of 3D Gaussian splatting accounts for ~50% of rendering (Fig. 2) was incorrect. Rerunning simulations showed it's only ~20%. Consequently, our method's performance decreased by ~40% from initial reports. We're exploring new directions but have no concrete plans yet. To avoid reader confusion, we're withdrawing the paper and will resubmit once revised