PiPa：面向域自适应语义分割的像素级与块级自监督学习
计算机视觉与模式识别
2022-11-15 v1
摘要
无监督域自适应（UDA）旨在增强所学模型对其他领域的泛化能力。域不变知识从在带标签源域（如视频游戏）上训练的模型迁移到无标签目标域（如真实场景），从而节省标注开销。现有的用于语义分割的UDA方法通常关注于最小化像素、特征和预测等不同层面的域间差异，以提取域不变知识。然而，主要的域内知识，如图像内部的上下文关联，仍未被充分探索。为填补这一空白，我们提出了一个统一的像素级与块级自监督学习框架，称为PiPa，用于域自适应语义分割，其促进图像内像素级关联以及针对不同上下文的块级语义一致性。所提框架利用了域内图像的内在结构，其：1）显式鼓励学习具有类内紧凑性和类间可分性的判别性像素级特征；2）激励相同块针对不同上下文或波动的鲁棒特征学习。大量实验验证了所提方法的有效性，其在两个广泛使用的UDA基准上取得了有竞争力的精度，即在GTA到Cityscapes上75.6 mIoU，在Synthia到Cityscapes上68.2 mIoU。此外，我们的方法与其他UDA方法兼容，可在不引入额外参数的情况下进一步提升性能。
引用
@article{arxiv.2211.07609,
title = {PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain Adaptative Semantic Segmentation},
author = {Mu Chen and Zhedong Zheng and Yi Yang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2211.07609},
year = {2022}
}