学习从脉冲流中鲁棒重建低光照动态场景
计算机视觉与模式识别
2024-07-09 v2
摘要
作为一种具有高时间分辨率的神经形态传感器，脉冲相机能够生成连续的二值脉冲流以捕获每像素的光强。我们可以利用重建方法恢复高速场景中的场景细节。然而，由于脉冲流中信息有限，低光照场景难以被有效重建。本文提出了一种基于双向循环的重建框架，包括光照鲁棒表示 (LR-Rep) 和融合模块，以更好地处理此类极端条件。LR-Rep 旨在聚合脉冲流中的时间信息，而融合模块则用于提取时间特征。此外，我们开发了一个针对高速低光照场景的重建基准。场景中的光源经过精心设计，与真实世界条件对齐。实验结果证明了我们方法的优越性，且该方法对真实脉冲流也具有良好的泛化能力。相关代码和提出的数据集将在发表后发布。
引用
@article{arxiv.2401.10461,
title = {Learning to Robustly Reconstruct Low-light Dynamic Scenes from Spike Streams},
author = {Liwen Hu and Ziluo Ding and Mianzhi Liu and Lei Ma and Tiejun Huang},
journal= {arXiv preprint arXiv:2401.10461},
year = {2024}
}
备注
Accepted by ECCV2024