基于脉冲稳定性定理的脉冲相机高速高质量视觉重建
计算机视觉与模式识别
2024-12-17 v1 图像与视频处理
摘要
神经形态视觉传感器，如动态视觉传感器（DVS）和脉冲相机，近年来受到越来越多的关注。脉冲相机通过模仿人类视觉系统中的中央凹来检测精细纹理，并输出高频脉冲流。从脉冲流中实时高质量地重建视觉，可以为脉冲相机的高级视觉任务应用搭建桥梁。为了实现脉冲相机的高速高质量视觉重建，我们提出了一个新的脉冲稳定性定理，揭示了脉冲流特性与稳定光强之间的关系。基于脉冲稳定性定理，设计了两种无参数算法用于脉冲相机的实时视觉重建。为了展示算法的性能，使用了两个数据集（公共数据集PKU-Spike-High-Speed和新构建的数据集SpikeCityPCL）来比较各种重建方法的重建质量和速度。实验结果表明，与当前最先进的（SOTA）重建方法相比，我们的重建方法在重建质量和速度之间取得了最佳平衡。此外，我们设计了算法的FPGA实现方法，以实现实时（以20,000 FPS运行）视觉重建。我们的工作为脉冲相机的实时边缘端视觉处理提供了新的定理和算法基础。
引用
@article{arxiv.2412.11639,
title = {High-speed and High-quality Vision Reconstruction of Spike Camera with Spike Stability Theorem},
author = {Wei Zhang and Weiquan Yan and Yun Zhao and Wenxiang Cheng and Gang Chen and Huihui Zhou and Yonghong Tian},
journal= {arXiv preprint arXiv:2412.11639},
year = {2024}
}