面向自动驾驶的基于对比学习的视频类无关分割
计算机视觉与模式识别
2021-05-12 v2
摘要
自动驾驶中的语义分割主要聚焦于从具有已知类闭集的大规模数据中学习，而不考虑未知物体。出于安全考量，我们处理视频类无关分割任务，该任务考虑训练数据已知类闭集之外的未知物体。我们提出一种新颖的辅助对比损失来学习已知类与未知物体的分割。与先前在图像层面上采样锚点、正例和负例的对比学习工作不同，我们的对比学习方法利用了像素级语义与时序引导。我们在 Cityscapes-VPS 上通过训练时保留四类不训练进行了实验，并显示出借助辅助对比损失在已知与未知物体分割上均获得提升。我们进一步发布了一个用于不同自动驾驶场景的大规模合成数据集，其包含独特且罕见的未知物体。我们在完整合成数据集和精简的小规模版本上进行了实验，并展示了对比学习在小型数据集上更为有效。我们提出的模型、数据集与代码将在 https://github.com/MSiam/video_class_agnostic_segmentation 发布。
引用
@article{arxiv.2105.03533,
title = {Video Class Agnostic Segmentation with Contrastive Learning for Autonomous Driving},
author = {Mennatullah Siam and Alex Kendall and Martin Jagersand},
journal= {arXiv preprint arXiv:2105.03533},
year = {2021}
}