关注邻域：面向全景语义分割的失真感知无监督域适应
计算机视觉与模式识别
2023-08-11 v1
摘要
近期已有研究致力于通过无监督域适应（UDA）将知识从带标签的针孔图像域迁移到无标签的全景图像域。其目的是解决由等距矩形投影（ERP）非均匀分布的像素所引起的风格差异与失真问题带来的域鸿沟。先前的工作通常侧重于基于几何先验、采用专门设计的多分支网络架构来迁移知识。结果导致了可观的计算成本，同时其泛化能力深受像素间失真变化的影响。在本文中，我们发现 ERP 的像素邻域区域确实引入了更小的失真。直观地，我们提出了一种新颖的 UDA 框架，能有效解决全景语义分割的失真问题。相比之下，我们的方法更简单、更易实现且计算更高效。具体而言，我们提出了失真感知注意力（DA），在无需任何几何约束的情况下捕获邻域像素分布。此外，我们提出了类级特征聚合（CFA）模块，利用记忆库迭代更新特征表示。由此，两个域之间的特征相似性可得到持续优化。大量实验表明，我们的方法在显著减少 80% 参数的同时取得了新的最先进性能。
引用
@article{arxiv.2308.05493,
title = {Look at the Neighbor: Distortion-aware Unsupervised Domain Adaptation for Panoramic Semantic Segmentation},
author = {Xu Zheng and Tianbo Pan and Yunhao Luo and Lin Wang},
journal= {arXiv preprint arXiv:2308.05493},
year = {2023}
}
备注
Accepted to ICCV 2023