360SFUDA++：通过学习可靠类别原型实现全景分割的无源无监督域适应
计算机视觉与模式识别
2024-04-26 v1
摘要
本文针对针孔到全景语义分割这一具有挑战性的无源无监督域适应（SFUDA）问题，仅给定一个针孔图像预训练模型（即源域）和未标注的全景图像（即目标域）。解决此问题并非易事，原因在于三个关键挑战：1）域间因视场角不同导致的语义不匹配；2）无监督域适应问题固有的风格差异；3）全景图像不可避免的畸变。为解决这些问题，我们提出了360SFUDA++，该方法仅利用未标注的全景图像，有效地从源针孔模型中提取知识，并将可靠知识迁移到目标全景域。具体来说，我们首先利用切面投影，因其畸变较小，同时将等距柱状投影分割成具有固定视场投影的块，以模拟针孔图像。两种投影在从源模型提取知识方面均被证明是有效的。然而，由于不同的投影使得域间直接迁移知识变得不太可能，我们随后提出了可靠全景原型适配模块，以在预测和原型两个层面迁移知识。RP²AM选择置信度高的知识并整合全景原型，以实现可靠的知识适配。此外，我们引入了跨投影双注意力模块，该模块在域间的特征层面更好地对齐了跨投影的空间和通道特征。知识提取和迁移过程同步更新以达到最佳性能。在包括室外和室内场景的合成与真实世界基准上的大量实验表明，我们的360SFUDA++取得了显著优于先前无源无监督域适应方法的性能。
引用
@article{arxiv.2404.16501,
title = {360SFUDA++: Towards Source-free UDA for Panoramic Segmentation by Learning Reliable Category Prototypes},
author = {Xu Zheng and Pengyuan Zhou and Athanasios V. Vasilakos and Lin Wang},
journal= {arXiv preprint arXiv:2404.16501},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2403.12505