SPC转3D：基于I2I翻译的二值SPC novel view synthesis

单光子雾化二极管（Single Photon Avalanche Diodes, SPADs）代表了一种前沿的成像技术，能够以卓越的时序精度检测单个光子。基于这种灵敏度，单光子相机（Single Photon Cameras, SPC）能够在低照度和高照度条件下以异常高的速度捕获图像。从此类SPC数据实现3D重建和辐射场恢复具有巨大的潜力。然而，SPC图像的二值化特性导致在纹理和颜色方面严重的信息损失，使传统的3D合成技术无法有效工作。为此，我们提出了一个模块化的两阶段框架，将二进制SPC图像转换为高质量的彩色 novel view。第一阶段使用生成模型如Pix2PixHD进行图像到图像（I2I）翻译，将二进制SPC输入转换为合理的RGB表示。第二阶段采用3D场景重建技术，如神经辐射场（Neural Radiance Fields, NeRF）或高斯溅写（Gaussian Splatting, 3DGS）生成 novel view。我们通过大量定性和定量实验验证了我们的两阶段管道（Pix2PixHD + Nerf/3DGS），证明其在感知质量和几何一致性方面显著优于基线方法。