基于学习型 Splatting 的低延迟点云渲染

点云是一种重要的 3D 表示，具有许多新兴应用。由于点的稀疏性和不规则性，点云的高质量渲染具有挑战性，通常需要复杂的计算来恢复连续的表面表示。另一方面，为避免视觉不适，运动到光子的延迟必须非常短，低于 10 ms。现有的渲染解决方案在质量或速度上均存在不足。为了应对这些挑战，我们提出了一个框架，解锁了交互式、自由视角和高保真的点云渲染。我们训练了一个通用神经网络，从任意点云中估计 3D 椭圆高斯，并使用可微分表面 splatting 为任意视角渲染平滑的纹理和表面法线。我们的方法不需要逐场景优化，并能够实现动态点云的实时渲染。实验结果表明，所提出的解决方案具有优越的视觉质量和速度，以及对不同场景内容的泛化能力和对压缩伪影的鲁棒性。代码可在 https://github.com/huzi96/gaussian-pcloud-render 获取。