域后皆有偏移：适配失真感知视觉Transformer的全景语义分割
摘要
本文研究全景语义分割，该任务因两大关键挑战而研究不足：(1) 全景图像上的图像失真与物体形变；(2) 360°影像中语义标注的缺乏。为解决这些问题，首先，我们提出用于全景语义分割的升级版Transformer，即Trans4PASS+，其配备可变形块嵌入(Deformable Patch Embedding, DPE)与可变形MLP(DMLPv2)模块，用以在任意时刻（适配前或适配后）与任意位置（浅层或深层）处理物体形变与图像失真。其次，我们通过伪标签修正增强互原型适配(Mutual Prototypical Adaptation, MPA)策略，用于无监督域适配全景分割。第三，除针孔到全景(Pinhole-to-Panoramic, Pin2Pan)适配外，我们创建了一个包含9,080张全景图像的新数据集(SynPASS)，推动了360°影像中合成到真实(Synthetic-to-Real, Syn2Real)的适配方案。我们进行了大量实验，涵盖室内与室外场景，且每种场景均使用Pin2Pan与Syn2Real两种方案进行探究。Trans4PASS+在四个域适配全景语义分割基准上取得了最先进(state-of-the-art, SOTA)性能。代码见 https://github.com/jamycheung/Trans4PASS。
引用
@article{arxiv.2207.11860,
title = {Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation},
author = {Jiaming Zhang and Kailun Yang and Hao Shi and Simon Reiß and Kunyu Peng and Chaoxiang Ma and Haodong Fu and Philip H. S. Torr and Kaiwei Wang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2207.11860},
year = {2024}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Extended version of CVPR 2022 paper arXiv:2203.01452. Code is available at https://github.com/jamycheung/Trans4PASS