面向事件相机目标检测的对象中心跨模态特征蒸馏

事件相机因其低延迟和高动态范围等独特性质而日益受到关注。这些优势至关重要的一个任务是实时目标检测。然而，由于事件数据的稀疏性以及视觉细节的缺失，RGB 检测器仍优于基于事件的检测器。本文中，我们提出了一种新颖的知识蒸馏方法以缩小这两种模态间的性能差距。为此，我们提出了一种跨模态目标检测蒸馏方法，其设计上可聚焦于知识蒸馏效果最佳的区域。我们通过使用对象中心槽注意力机制实现这一点，该机制可迭代地将特征图解耦为对象中心特征及用于蒸馏的对应像素特征。我们在具有对齐灰度图像作为教师模态的合成与真实事件数据集上评估了这一新颖蒸馏方法。我们表明，对象中心蒸馏能显著提升基于事件的学生目标检测器的性能，相对于教师检测器的性能差距近乎减半。