重新思考基于脉冲相机的高速图像重建框架

脉冲相机作为一种创新的神经形态设备，能够生成连续的脉冲流，以比传统RGB相机更低的带宽和更高的动态范围捕捉高速场景。然而，在低光条件下从脉冲输入重建高质量图像仍然具有挑战性。传统的基于学习的方法通常依赖合成数据集作为训练监督。但这些方法在处理低光环境下触发的噪声脉冲时会失败，导致在真实数据集上性能进一步下降。这种现象主要是由于噪声建模不足以及合成数据集与真实数据集之间的域差距，导致恢复的图像纹理不清晰、噪声过多且亮度降低。为了解决这些挑战，我们引入了一种新颖的脉冲到图像重建框架SpikeCLIP，超越了传统的训练范式。利用CLIP模型强大的文本-图像对齐能力，我们将捕获场景的文本描述和未配对的高质量数据集作为监督。我们在真实低光数据集U-CALTECH和U-CIFAR上的实验表明，SpikeCLIP显著增强了恢复图像的纹理细节和亮度平衡。此外，重建图像与下游任务所需的更广泛视觉特征良好对齐，确保在挑战性环境中更稳健和通用的性能。