bit2bit: 通过自监督光子预测的 1-bit 量子视频重建

量子图像传感器（如 SPAD 阵列）是一种新兴的传感器技术，产生 1-bit 数组，表示在短至几纳秒的曝光期间的光子探测事件。在实践中，原始数据通过重的时空分箱进行后处理，以创建更有用和可解释的图像，但代价是降低时空分辨率。在这项工作中，我们提出了 bit2bit，一种从稀疏二进制量子图像数据重建具有原始时空分辨率的高质量图像序列的新方法。受近期关于泊松去噪工作的启发，我们开发了一种算法，通过预测光子到达位置概率分布，从稀疏二进制光子数据创建密集图像序列。然而，由于数据的二进制性质，我们表明泊松分布的假设是不充分的。相反，我们用截断泊松的伯努利格点过程来建模该过程。这导致了一种基于掩码损失函数的自监督新方案的提出。我们在模拟数据和真实数据上评估了我们的方法。在来自常规视频的模拟数据上，我们在极光子稀疏的二进制输入（每像素每帧 <0.06 个光子）下实现了 34.35 的平均 PSNR。我们还展示了一个包含各种挑战性成像条件下真实 SPAD 高速视频的新型数据集。这些场景涵盖了强/弱环境光、强运动、超快事件等，将向社区开放，我们在该数据集上展示了我们方法的前景。我们的重建质量和吞吐量均大幅超越最先进方法（例如 Quanta Burst Photography (QBP)）。我们的方法显著增强了数据的可视化和可用性，使现有分析技术的应用成为可能。