风格与畸变皆关键：面向全景语义分割的双路径无监督域适应
计算机视觉与模式识别
2023-03-28 v1
摘要
场景理解能力引发了针对全景图像语义分割的活跃研究。然而，等距柱状投影（ERP）的畸变以及像素级标注的缺乏制约了性能。为此，一些工作将 ERP 与针孔图像同等对待，并通过无监督域适应（UDA）将知识从针孔图像迁移到 ERP 图像。但它们未能处理由以下原因导致的域差距：1）相机传感器与所捕获场景之间的固有差异；2）不同的图像格式（如 ERP 与针孔图像）。本文提出一种新颖且灵活的双路径 UDA 框架 DPPASS，以 ERP 与切平面投影（TP）图像作为输入。为缩小域差距，我们提出跨投影与投影内训练。跨投影训练包括切向特征对比训练与预测一致性训练：前者将具有相同投影位置的特征视为正例、反之视为负例，以使模型感知畸变；后者确保 ERP 与 TP 之间跨模型预测的一致性。此外，提出对抗式投影内训练，分别缩小针孔图像特征与 ERP、TP 图像特征之间的固有差距。重要的是，TP 路径可在训练后自由移除，从而不带来额外推理开销。在两个基准上的大量实验表明，我们的 DPPASS 比最先进方法取得了 +1.06% mIoU 的提升。
引用
@article{arxiv.2303.14360,
title = {Both Style and Distortion Matter: Dual-Path Unsupervised Domain Adaptation for Panoramic Semantic Segmentation},
author = {Xu Zheng and Jinjing Zhu and Yexin Liu and Zidong Cao and Chong Fu and Lin Wang},
journal= {arXiv preprint arXiv:2303.14360},
year = {2023}
}
备注
Accepted by CVPR 2023