事件驱动的动态场景深度完成

动态场景中的深度完成因快速的自 ego 运动和物体运动，导致输入模态如 RGB 图像和激光 LiDAR 测量质量严重下降。常规的 RGB-D 传感器在此类条件下难以精确对齐并捕获可靠的深度信息。相比之下，事件相机凭借其高时序分辨率和对像素级运动的灵敏度，提供了在动态环境中尤其有益的补充线索。为此，我们提出了 EventDC，即首个事件驱动深度完成框架。它包含两个关键组件：事件调制对齐 (Event-Modulated Alignment, EMA) 和局部深度滤波 (Local Depth Filtering, LDF)。这两个模块自适应地学习卷积操作的两个基本组成部分：偏移量和权重，这些参数依据对运动敏感的事件流而conditioning。在编码器中，EMA 利用事件对 RGB-D 特征的采样位置进行调制，以实现像素级重新分配，从而提高对齐和融合效果。在解码器中，LDF 通过学习事件中的运动感知掩码，对移动物体周围的深度估计进行细化。此外，EventDC 还包含两个损失项，以进一步提升全局对齐效果并增强局部深度恢复。我们还建立了首个事件基深度完成基准数据集，包含一个真实数据集和两个合成数据集，以促进未来研究。对该基准进行的大量实验表明，我们的 EventDC 方法具有显著优势。