面向不确定性的重编码：鲁棒事件-RGB 语义分割的边缘感知一致性

语义分割在理想条件下取得了巨大成功，但在面对极端条件（如光照不足、剧烈相机运动）时，现有大多数方法会造成 RGB 信息的显著丢失，严重损害分割结果。已有研究利用高速和高动态事件模态作为补充，但事件与 RGB 本质上异构，导致特征层面不匹配及优化效果不佳。与这些方法不同，本文深入挖掘两种模态的边缘密码，以实现鲁棒性融合，提出一种新的 Edge-awareness Semantic Concordance（ESC）框架，利用潜在边缘线索统一多模态异构特征。在该框架中，我们首先提出 Edge-awareness Latent Re-coding，引导事件-RGB 特征通过重新编码分布实现不确定性指示器的获取，并利用预建立的边缘字典将事件-RGB 分布转化为重新编码特征。随后，我们提出 Re-coded Consolidation and Uncertainty Optimization，利用重新编码的边缘特征和不确定性指示器解决在极端条件下的异构事件-RGB 融合问题。我们建立了两个合成数据集和一个真实世界事件-RGB 语义分割数据集，用于极端场景比较。实验结果表明，本方法在提出的 DERS-XS 数据集上以 2.55% mIoU 的提升超越当前 SOTA 方法，在空间遮挡情况下的鲁棒性显著优越。我们的代码和数据集已公开于 https://github.com/iCVTEAM/ESC。