用于脉冲相机的不确定性引导深度融合

深度估计对于自动驾驶等多种重要现实应用必不可少。然而，由于传统相机只能捕获模糊图像，其在高速场景下性能严重退化。为应对该问题，脉冲相机被设计用以高帧率捕获逐像素亮度强度。但是，基于光度一致性的传统单目或双目深度估计算法用于脉冲相机深度估计仍极具挑战。本文中，我们提出一种新颖的不确定性引导深度融合（UGDF）框架，以融合脉冲相机单目与双目深度估计网络的预测。我们的框架源于如下事实：近距时双目脉冲深度估计效果更佳，而远距时单目脉冲深度估计更优。因此，我们引入具联合训练策略的双任务深度估计架构，并估计分布不确定性以融合单目与双目结果。为展示脉冲深度估计相对传统相机深度估计的优势，我们贡献了名为CitySpike20K的脉冲深度数据集，含2万配对样本，用于脉冲深度估计。UGDF在CitySpike20K上取得SOTA结果，超越所有单目或双目脉冲深度估计基线。我们开展大量实验评估该方法在CitySpike20K上的有效性与泛化性。据我们所知，我们的框架是首个用于脉冲相机深度估计的双任务融合框架。代码与数据集将公开。