基于事件相机与混合网络的合成孔径成像
计算机视觉与模式识别
2021-03-31 v3 机器学习
摘要
合成孔径成像（SAI）能够通过模糊失焦的前景遮挡并从多视角图像中重建聚焦的被遮挡目标，从而实现透视效果。然而，非常密集的遮挡和极端光照条件可能给基于传统帧式相机的 SAI 带来显著干扰，导致性能退化。为解决这些问题，我们提出了一种基于事件相机的新型 SAI 系统，该相机可产生具有极低延迟和高动态范围的异步事件。因此，它可以通过几乎连续的视角测量消除密集遮挡的干扰，同时应对过曝/欠曝问题。为重建被遮挡目标，我们提出了一种由脉冲神经网络（SNNs）和卷积神经网络（CNNs）组成的混合编码器-解码器网络。在该混合网络中，所收集事件的时空信息首先由 SNN 层编码，然后通过风格迁移 CNN 解码器转换为被遮挡目标的视觉图像。通过实验，所提方法在处理非常密集的遮挡和极端光照条件方面表现出卓越性能，并且可以使用纯事件数据重建高质量视觉图像。
引用
@article{arxiv.2103.02376,
title = {Event-based Synthetic Aperture Imaging with a Hybrid Network},
author = {Xiang Zhang and Wei Liao and Lei Yu and Wen Yang and Gui-Song Xia},
journal= {arXiv preprint arXiv:2103.02376},
year = {2021}
}