一种用于驾驶视频中无监督交通事故检测的记忆增强多任务协作框架

在驾驶视频中识别交通事故对确保自动驾驶与驾驶辅助系统的安全至关重要。为应对驾驶事件长尾分布带来的潜在危险，现有交通事故检测（TAD）方法主要依赖无监督学习。然而，由于驾驶场景中摄像机的快速运动与动态场景，TAD 仍具挑战性。现有无监督 TAD 方法主要依赖单一 pretext 任务，即基于外观或未来目标定位任务来检测事故。然而，基于外观的方法易受摄像机快速运动与光照变化干扰，显著降低交通事故检测性能。基于未来目标定位的方法可能未能捕捉视频帧中的外观变化，难以检测自车涉及型事故（例如自车失控）。本文中，我们提出一种新颖的记忆增强多任务协作框架（MAMTCF）用于驾驶视频中无监督交通事故检测。与先前方法不同，我们的方法通过光流重建与未来目标定位任务的协作同时建模视频帧中外观变化与目标运动，可更准确地检测自车涉及型与非自车事故。进一步，我们引入记忆增强运动表示机制，充分探索不同类型运动表示间的相互关联，并利用存储于记忆中的正常交通模式高层特征增强运动表示，从而放大与异常的差异。在近期发布的大规模数据集上的实验结果表明，相较先前最先进方法，我们的方法取得了更优性能。