用于俯视目标检测的事件到视频转换

与标准相机相比，由于图像传感器的能效优势，使用事件相机采集俯视图像是非常理想的。然而，事件相机增加了下游图像处理的复杂性，特别是对于目标检测等复杂任务。本文研究了事件流用于俯视目标检测的可行性。我们表明，在多种标准建模方法中，密集事件表示与相应的 RGB 帧之间存在显著的性能差距。我们证实，该差距部分归因于事件表示与用于初始化目标检测器权重的预训练数据之间缺乏重叠。随后，我们应用将事件流转换为灰度视频的事件到视频转换模型来弥合这一差距。我们证明，该方法带来了大幅的性能提升，在我们的俯视目标任务上甚至优于特定于事件的目标检测技术。这些结果表明，相较于端到端的特定于事件的架构改进，事件表示与现有大型预训练模型之间更好的对齐可能会在短期内带来更大的性能提升。