PhotonSplat：基于 SPAD 传感器的 3D 场景重建与着色

3D 重建技术的进展使得高质量的 3D 捕获成为可能，但常常在输入图像因相机或场景中快速运动而产生运动模糊时失败。本工作通过采用单光子雪崩二极管 (SPAD) 数组，这种一种能够以极高速度感知图像的新兴感知技术，推进了神经渲染在此类场景中的应用。然而，SPAD 的使用也带来了独特的挑战，形式为二值图像，这些图像是由随机光子到达驱动的。为解决这一问题，我们提出了 PhotonSplat，一个旨在直接从 SPAD 二值图像重建 3D 场景的框架，有效地在噪声与模糊之间进行权衡。我们的方法引入了一种新颖的 3D 空间滤波技术，以减少渲染结果中的噪声。该框架支持无参考生成式先验和基于单张模糊图像的参考色彩化，使其能够支持分割、目标检测和外观编辑等下游应用。此外，我们将该方法扩展到动态场景表示，适用于包含移动物体的场景。我们进一步贡献了 PhotonScenes，即一个使用 SPAD 传感器捕获的真实世界多视角数据集。