全景全景分割：基于无监督对比学习实现完整周遭环境理解
计算机视觉与模式识别
2021-05-31 v2 机器学习
机器人学
图像与视频处理
摘要
在本工作中，我们提出全景全景分割(panoramic panoptic segmentation)，将其作为基于标准相机输入在视场与图像级理解上最为全面的场景理解方式。完整的周遭环境理解可为智能体提供最大化的信息量，这对于任何在真实交通等安全攸关的动态环境中做出明智决策的智能车辆而言都至关重要。为克服全景图像标注匮乏的问题，我们提出了一种框架，可在标准针孔图像上训练模型并将学到的特征迁移至不同域。利用我们所提出的方法，在 Wild Panoramic Panoptic Segmentation (WildPPS) 数据集上，我们以 PQ 衡量相较未适配模型取得了超过 5% 的显著提升。我们表明，所提出的全景鲁棒特征(Panoramic Robust Feature, PRF)框架不仅适用于提升全景图像上的性能，而且只要模型训练与部署所用数据来自不同分布，便可带来增益。作为额外贡献，我们发布了 WildPPS：首个全景全景图像数据集，以推动周遭感知的发展。
引用
@article{arxiv.2103.00868,
title = {Panoramic Panoptic Segmentation: Towards Complete Surrounding Understanding via Unsupervised Contrastive Learning},
author = {Alexander Jaus and Kailun Yang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2103.00868},
year = {2021}
}
备注
7 pages, 4 figures, 2 tables. Accepted to 2021 IEEE Intelligent Vehicles Symposium (IV2021). The project is at https://github.com/alexanderjaus/PPS