EvDistill：通过双向重建引导的跨模态知识蒸馏从异步事件到端任务学习

事件相机感知每个像素的强度变化，并产生具有高动态范围和较少运动模糊的异步事件流，显示出优于传统相机的优势。训练基于事件的模型的一个障碍是缺乏大量高质量的标记数据。先前学习端任务的工作主要依赖于从有源像素传感器（APS）帧获得的标记或伪标记数据集；然而，这些数据集的质量远不能与基于标准图像的数据集相媲美。在本文中，我们提出了一种新颖的方法，称为\textbf{EvDistill}，通过知识蒸馏（KD）从使用大规模标记图像数据（源模态）训练的教师网络，在未标记且未配对的事件数据（目标模态）上学习学生网络。为了实现跨未配对模态的KD，我们首先提出一个双向模态重建（BMR）模块来桥接两种模态，并同时利用它们通过精心构建的配对来蒸馏知识，从而在推理中不产生额外计算。BMR通过端任务和KD损失以端到端的方式进行改进。其次，我们利用两种模态的结构相似性，并通过匹配它们的分布来适应知识。此外，由于大多数先前的特征KD方法是单模态的，不太适用于我们的问题，我们提出利用亲和图KD损失来增强蒸馏。我们在语义分割和目标识别上的大量实验表明，EvDistill取得了比先前工作以及仅使用事件和APS帧的KD显著更好的结果。