全景全景分割：基于无监督对比学习的移动智能体周边解析洞察
计算机视觉与模式识别
2022-12-29 v2 机器人学
图像与视频处理
摘要
本文中，我们引入全景全景分割，作为针对标准基于相机的输入在视场（FoV）与图像级理解方面最为全面的场景理解。完整的周边理解可为移动智能体提供最大化的信息量。这是任何智能车辆在真实世界交通等安全攸关的动态环境中做出明智决策所必需的信息。为克服全景图像标注的匮乏，我们提出一种框架，允许在标准针孔图像上训练模型，并以最小化代价的方式将所学特征迁移至全景域。从针孔到全景图像的域偏移并非平凡，因为大物体与表面在图像边界区域附近严重畸变，且在两个域中外观不同。利用我们提出的带有密集对比学习的方法，我们相较未适配的方法取得了显著改进。依据高效的全景分割架构，在我们建立的 Wild Panoramic Panoptic Segmentation（WildPPS）数据集上，相较未适配模型，以全景质量（PQ）衡量可提升 3.5–6.5%。此外，我们的高效框架无需访问目标域图像，使其成为适用于有限硬件设置的可行域泛化方法。作为额外贡献，我们发布了 WildPPS：首个全景全景图像数据集，以推动周边感知进展，并探索了一种结合监督与对比训练的新颖训练流程。
引用
@article{arxiv.2206.10711,
title = {Panoramic Panoptic Segmentation: Insights Into Surrounding Parsing for Mobile Agents via Unsupervised Contrastive Learning},
author = {Alexander Jaus and Kailun Yang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2206.10711},
year = {2022}
}
备注
Accepted to IEEE Transactions on Intelligent Transportation Systems (T-ITS). Extended version of arXiv:2103.00868. The project is at https://github.com/alexanderjaus/PPS