基于事件视频的行人重识别：跨模态与时间协作

基于视频的行人重识别（ReID）因其在视频监控应用中的重要性而日益受到关注。通过在基于视频的行人重识别中引入事件，可以在连续帧之间提供更多运动信息，从而提高识别精度。以往的方法通过将事件数据引入视频行人重识别任务来辅助，但仍无法避免RGB图像带来的隐私泄露问题。为了避免隐私攻击并利用事件数据的优势，我们考虑仅使用事件数据。为了充分利用事件流中的信息，我们提出了一种跨模态与时间协作（CMTC）网络，用于基于事件的视频行人重识别。首先，我们设计了一个事件变换网络，从原始事件输入中获取相应的辅助信息。此外，我们提出了一个差分模态协作模块，以平衡事件和辅助信息的作用，实现互补效果。进一步，我们引入了一个时间协作模块，以利用运动信息和外观线索。实验结果表明，我们的方法在基于事件的视频行人重识别任务中优于其他方法。