基于分裂 2D Gaussians 的稀疏点云块渲染

当前基于学习的方法通过从点云预测 NeRF 或 3D Gaussians 来实现照片级真实感渲染，但仍依赖于类别先验、稠密点云或额外细化。因此，我们引入一种新颖的点云渲染方法，通过从点云预测 2D Gaussians 来实现渲染。我们的方法包含两个具有整体块架构的相同模块，使网络能够泛化到多个数据集。该模块利用包含法线、颜色和距离在内的点云信息对 Gaussians 进行归一化和初始化。随后，采用分裂解码器通过复制初始 Gaussians 并预测更精确的结果来对其进行细化，使我们的方法也能有效适应稀疏点云。训练完成后，我们的方法对不同类别的点云展现出直接泛化能力。预测的 Gaussians 直接用于渲染，无需对渲染图像进行额外细化，保留了 2D Gaussians 的优势。我们在各种数据集上进行了大量实验，结果证明了我们方法的优越性和泛化能力，实现了 SOTA 性能。代码可在 https://github.com/murcherful/GauPCRender}{https://github.com/murcherful/GauPCRender 获取。