基于半监督对比学习的自车动作识别

近年来，许多汽车配备了摄像头，积累了大量的驾驶场景视频素材。自动驾驶对安全性要求极高，为此即便难以想象的罕见驾驶场景也必须被收集进训练数据，以提升特定场景的识别准确率。然而，从海量视频中找出极少数特定场景的成本高得令人却步。本文中，我们展示了通过关注自车动作可以定义恰当的视频间距离。众所周知，现有的基于监督学习的方法虽能很好地在标注视频的嵌入空间中定义视频间距离，却无法处理未落入预定义类别的视频。为解决该问题，我们提出了一种基于半监督对比学习的方法。我们考虑两种相关但不同的对比学习：标准图对比学习与我们所提出的基于 SOIA 的对比学习。我们观察到，后者能在未标注视频之间提供更合理的视频间距离。接着，利用 HDD 数据集评估自车动作识别的分类性能，量化了方法的有效性，结果表明我们的方法在训练中纳入未标注数据，显著优于仅使用标注数据训练的现有方法。