用于检测多模态视频中异常驾驶行为的监督对比学习

分心驾驶是车辆事故的主要原因之一。因此，检测分心驾驶行为对于减少全球数百万人的伤亡至关重要。分心或异常驾驶行为是偏离“正常”驾驶的行为，需要被正确识别以提醒驾驶员。然而，这些驾驶行为并不包含一种特定的驾驶风格，并且其分布在分类器的训练和测试阶段可能不同。我们将此问题形式化为一种监督对比学习方法，以学习一种视觉表征，用于检测正常、已见和未见的异常驾驶行为。我们对标准对比损失函数进行了修改，以调整负样本对的相似度来辅助优化。通常，在（自）监督对比框架中，投影头层在测试阶段会被省略，因为编码层被认为包含了通用的视觉表征信息。然而，我们断言，对于基于视频的监督对比学习任务，包含投影头可能是有益的。我们在一个驾驶员异常检测数据集上展示了结果，该数据集包含来自31名驾驶员的各种顶部和前置摄像头（包括深度和红外）的783分钟正常和异常驾驶行为视频记录。在9种视频模态组合中，我们提出的对比方法在6种组合上相比基线模型提高了ROC AUC（不同模态下从4.23%提高到8.91%）。我们进行的统计测试表明，我们提出的方法优于基线对比学习设置。最后，结果显示，融合顶部和前置视角的深度和红外模态达到了最佳的AUC ROC 0.9738和AUC PR 0.9772。