融合近红外图像和事件去噪的协同神经形态成像
计算机视觉与模式识别
2025-03-06 v3
摘要
夜间动态和其他极暗条件下的成像领域近年来取得了显著且变革性的进展，部分原因是新型感知方法的兴起，例如具有高灵敏度的近红外(NIR)相机以及抗模糊的事件相机。然而，近红外相机的不当曝光比例使其易受失真和模糊影响。事件相机在夜间对弱信号高度敏感，但易受干扰，常产生大量噪声，显著降低观测和分析质量。本文开发了一种新的框架，用于结合NIR成像和基于事件的技术，称为协同神经形态成像，可实现NIR图像去模糊和事件去噪。通过光谱一致性和高阶相互作用，利用NIR图像和可见事件之间的跨模态特征，同时融合、增强和引导NIR图像和事件。在真实和模拟序列上的实验表明，我们的方法在实际场景中比其他方法在准确性和鲁棒性方面更有效。该研究为增强NIR图像和事件提供了动力，为高保真低光成像和神经形态推理铺平了道路。
引用
@article{arxiv.2503.01193,
title = {Near-infrared Image Deblurring and Event Denoising with Synergistic Neuromorphic Imaging},
author = {Chao Qu and Shuo Zhu and Yuhang Wang and Zongze Wu and Xiaoyu Chen and Edmund Y. Lam and Jing Han},
journal= {arXiv preprint arXiv:2503.01193},
year = {2025}
}