基于音视觉线索的自监督运动车辆检测

鲁棒地检测运动车辆是任何自主户外机器人或自动驾驶车辆的关键任务。解决该任务的大多数现代方法依赖于使用大规模车辆检测数据集（如 nuScenes 或 Waymo Open Dataset）训练基于图像的检测器。提供人工标注是一项昂贵且费力的工程，在实践中难以良好扩展。为应对该问题，我们提出一种自监督方法，利用音视觉线索检测视频中的运动车辆。我们的方法采用对比学习，从对应的图像对与录制音频中定位图像中的车辆。在使用真实世界数据集进行的广泛实验中，我们证明我们的方法可提供准确的运动车辆检测且不需要人工标注。我们进一步展示，我们的模型可用作教师来监督仅音频的检测模型。该学生模型对照明变化不变，从而有效弥合了 exclusively 以视觉作为主导模态的模型所固有的域鸿沟。