揭示脉冲流在密集连续视角前景遮挡去除中的潜力
计算机视觉与模式识别
2023-07-04 v1
摘要
通过去除前景遮挡来提取干净背景图像具有重大的实际意义，但也面临若干挑战。目前，大多数去遮挡研究聚焦于通过从标定相机阵列中提取并合成离散图像来解决该问题。然而，在密集遮挡或高速运动情况下，由于视角有限和运动模糊，复原质量往往较差。为成功去除密集前景遮挡，需要一种有效的多视角视觉信息整合方法。脉冲相机作为一种新型神经形态传感器，凭借其超高时间分辨率和高动态范围展现出可观的能力。本文提出一种创新方案，仅使用一台脉冲相机、在无需相机内参和相机位姿任何先验知识的情况下，通过连续多视角成像解决去遮挡问题。通过快速移动脉冲相机，我们持续捕获被遮挡场景的密集脉冲流。为处理脉冲，我们构建了新模型 SpkOccNet，其中将连续视角下多窗口内的脉冲信息进行整合，并提出一种新颖的跨视角互注意力机制以实现有效融合与精炼。此外，我们贡献了首个真实世界基于脉冲的去遮挡数据集 S-OCC。实验结果表明，我们所提模型能在多样场景中高效去除密集遮挡，并展现出较强的泛化能力。
引用
@article{arxiv.2307.00821,
title = {Unveiling the Potential of Spike Streams for Foreground Occlusion Removal from Densely Continuous Views},
author = {Jiyuan Zhang and Shiyan Chen and Yajing Zheng and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2307.00821},
year = {2023}
}