自监督强度-事件立体匹配

事件相机是新型仿生视觉传感器，以微秒精度输出像素级强度变化，具有高动态范围和低功耗。尽管有这些优势，由于无法同时获得高质量强度与事件，事件相机不能直接应用于计算成像任务。本文旨在连接独立的事件相机与现代强度相机，使应用能同时利用两种传感器。我们通过多模态立体匹配任务建立此连接。我们首先将事件转换为重建图像，并将现有立体网络扩展至该多模态条件。我们提出一种自监督方法，在不使用真实视差数据的情况下训练多模态立体网络。在图像梯度上计算的结构损失用于实现此类多模态数据的自监督学习。利用不同模态视图间的内部立体约束，我们引入通用立体损失函数，包括视差交叉一致性损失与内部视差损失，相较于现有方法提升了性能与鲁棒性。实验证明了所提方法，尤其是所提通用立体损失函数，在合成与真实数据集上的有效性。最后，我们展望了在对齐事件与强度图像上的下游任务应用，例如视频插值应用。