PiPa++: 基于自监督学习实现领域自适应语义分割统一框架
计算机视觉与模式识别
2024-07-25 v1 人工智能
摘要
无监督领域自适应语义分割旨在提高模型在目标域的分割精度，而无需依赖来自这些目标域的数据。当目标域标记数据稀缺或不可用时，这种方法至关重要。它寻求对齐源域（可获得标记数据）和目标域（仅存在无标记数据）的特征表示，从而实现模型对目标域的良好泛化。当前的图像级和视频级领域自适应方法尽管存在内在联系，却采用不同的和专门化的框架、训练策略和优化方法。本文提出了统一框架 PiPa++，该框架利用“比较”的核心思想，（1）显式鼓励学习具有类内紧凑性和类间可分性的像素级特征，（2）促进相同 patch 在不同上下文或波动情况下的稳健特征学习，（3）在动态环境下实现时间连续性。通过设计的任务感知对比采样策略，PiPa++ 可根据任务需求挖掘更具信息性的训练样本。大量实验表明，我们的方法在图像级和视频级领域自适应基准测试上均有效。此外，所提方法与其他 UDA 方法兼容，可进一步提升性能，而无需引入额外参数。
引用
@article{arxiv.2407.17101,
title = {PiPa++: Towards Unification of Domain Adaptive Semantic Segmentation via Self-supervised Learning},
author = {Mu Chen and Zhedong Zheng and Yi Yang},
journal= {arXiv preprint arXiv:2407.17101},
year = {2024}
}
备注
This study is under IEEE TMM review. arXiv admin note: substantial text overlap with arXiv:2211.07609