gQIR: 生成式量子图像重建

从仅少量探测到的光子中捕获高质量图像是计算成像中的一个根本挑战。单光子雾化二极管 (SPAD) 传感器在常规相机失败的领域提供高质量成像，但原始 \emph{量子帧} 只包含稀疏、噪声的二进制光子探测。从一系列此类帧中恢复连贯图像需要在光子统计特性远超标准恢复管道或现代生成模型所假设的噪声下处理对齐、去噪和去马赛化（彩色）。我们提出一种方法，将大型文本到图像潜在扩散模型适应量子脉冲成像的光子受限领域。我们的方法利用互联网规模扩散模型的结构和语义先验，同时引入处理伯努利光子统计的机制。通过将潜在空间恢复与脉冲级时空推理相结合，我们的方法即使在高速运动下也能产生光谱忠实且感知上令人满意的重建。我们在合成基准和新真实数据集上对方法进行评估，包括首个彩色 SPAD 脉冲数据集和一个具有挑战性的 \textit{Deforming (XD)} 视频基准。在所有设置下，该方法在感知质量上显著优于经典和现代基于学习的基线，展示了将大型生成先验适用于极端光子受限感知的潜力。代码请参见 \href{https://github.com/Aryan-Garg/gQIR}{https://github.com/Aryan-Garg/gQIR}。