面向全景语义分割的多源域适应
计算机视觉与模式识别
2025-01-08 v2
摘要
无监督域适应方法用于全景语义分割会利用真实针孔图像或低成本合成全景图像来将分割模型迁移到真实全景图像。然而，这些方法难以仅凭真实针孔图像来理解全景结构，亦缺乏仅凭合成全景图像获取真实场景感知能力。因此，本文提出了新的任务：面向全景语义分割的多源域适应（MSDA4PASS），旨在利用真实针孔图像和合成全景图像来提高对未标记真实全景图像的分割精度。在MSDA4PASS任务中存在两个关键问题：（1）针孔域与全景域之间的畸变差异——全景图像呈现出在针孔图像中不存在的全局和局部畸变；（2）源域与目标域之间的纹理差异——跨域的场景和风格不同。为解决这两个问题，我们提出了一种新框架：面向全景语义分割的形变变换对齐器（DTA4PASS），将源域中所有针孔图像转换为带畸变的图像，并通过对齐带畸变图像和全景图像来匹配目标全景图像。具体而言，DTA4PASS包含两个主要组件：无配对语义形变（USM）和畸变门控对齐（DGA）。首先，在USM中，双视图判别器（DvD）协助训练针孔图像在图像和像素级别上的可微形变转换网络，实现无需配对全景视图即可有效进行形变转换，缓解畸变差异。其次，DGA通过门控机制为每张图像分配针孔式（pin-like）和全景式（pan-like）特征，并通过不确定性估计对齐这两种特征，从而减小纹理差异。
引用
@article{arxiv.2408.16469,
title = {Multi-source Domain Adaptation for Panoramic Semantic Segmentation},
author = {Jing Jiang and Sicheng Zhao and Jiankun Zhu and Wenbo Tang and Zhaopan Xu and Jidong Yang and Guoping Liu and Tengfei Xing and Pengfei Xu and Hongxun Yao},
journal= {arXiv preprint arXiv:2408.16469},
year = {2025}
}
备注
Accepted by Information Fusion 2025