在低照度尖峰流中看见未被看到的东西
计算机视觉与模式识别
2025-11-14 v2
摘要
尖峰相机是一种具有高时序分辨率的神经器官传感器，显示出在高速视觉任务中巨大的潜力。与传统相机不同，尖峰相机持续累积光子并发射异步尖峰流。由于数据模态的独特性，尖峰流需要重建方法才能变得可被人类眼睛感知。然而，许多方法在低照度高速场景中难以处理尖峰流，因为存在严重的噪声和稀疏信息。在本工作中，我们提出了 Diff-SPK，这是一种基于扩散的重建方法。Diff-SPK 有效地利用生成先验在不同低照度条件下补充纹理信息。具体而言，它首先采用增强型间尖峰区间纹理 (ETFI) 来聚合低照度尖峰流中的稀疏信息。然后，由合适的编码器对编码后的 ETFI 作为 ControlNet 的输入，用于高速场景生成。为提高结果质量，我们在生成过程中引入了基于 ETFI 的特征融合模块。
引用
@article{arxiv.2509.23304,
title = {Seeing the Unseen in Low-light Spike Streams},
author = {Liwen Hu and Yang Li and Mianzhi Liu and Yijia Guo and Shenghao Xie and Ziluo Ding and Tiejun Huang and Lei Ma},
journal= {arXiv preprint arXiv:2509.23304},
year = {2025}
}