超越视场域的迁移：基于无监督域自适应的稠密全景语义分割
摘要
自动驾驶汽车显然受益于 360 度传感器扩展的视场 (FoV)，但现代语义分割方法严重依赖标注训练数据，而全景图像中此类数据十分匮乏。我们从域自适应视角审视该问题，将全景语义分割带入一种标注训练数据源自常规针孔相机图像不同分布的设定。为此，我们形式化了全景语义分割的无监督域自适应任务，并收集了 DensePASS——一个用于跨域条件下全景分割的新颖稠密标注数据集，专门构建用于研究针孔到全景的域偏移，并附带从 Cityscapes 获得的针孔相机训练样本。DensePASS 涵盖有标注与无标注的 360 度图像，其中有标注数据包含 19 个类别，明确契合源（即针孔）域中可用的类别。由于数据驱动模型尤其易受数据分布变化影响，我们引入 P2PDA——一个用于针孔到全景语义分割的通用框架，其通过不同变体的注意力增强域自适应模块应对域发散挑战，实现输出空间、特征空间与特征置信度空间中的迁移。P2PDA 将基于注意力头即时调节置信值的 uncertainty-aware 自适应与差异预测交织在一起。我们的框架在学习域对应时促进上下文交换，并显著提升以精度与效率为导向模型的自适应性能。综合实验验证我们的框架明显超越无监督域自适应与专用全景分割方法。
引用
@article{arxiv.2110.11062,
title = {Transfer beyond the Field of View: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation},
author = {Jiaming Zhang and Chaoxiang Ma and Kailun Yang and Alina Roitberg and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2110.11062},
year = {2021}
}
备注
Accepted to IEEE Transactions on Intelligent Transportation Systems (IEEE T-ITS). Dataset and code will be made publicly available at https://github.com/chma1024/DensePASS. arXiv admin note: substantial text overlap with arXiv:2108.06383