SSR：SAM 是领域自适应语义分割的强大正则化器
计算机视觉与模式识别
2024-01-29 v1
摘要
我们引入了 SSR，它在训练过程中利用 SAM（segment-anything）作为一个强大的正则化器，以极大增强图像编码器处理各种领域的鲁棒性。具体来说，鉴于 SAM 是在互联网上涵盖多种多样领域的大量图像上预训练的，与传统 ImageNet 预训练的图像编码器相比，SAM 提取的特征编码显然对特定领域的依赖性更小。同时，ImageNet 预训练的图像编码器仍然是语义分割任务中成熟的骨干网络选择，尤其是在 SAM 与类别无关的情况下。因此，我们的 SSR 提供了一种简单而高效的设计。它使用 ImageNet 预训练的图像编码器作为骨干网络，并在训练期间通过 SAM 对每个阶段（即 MiT-B5 中有 4 个阶段）的中间特征进行正则化。在 GTA5Cityscapes 上的大量实验表明，我们的 SSR 在不引入任何额外推理开销的情况下，显著提升了基线性能。
引用
@article{arxiv.2401.14686,
title = {SSR: SAM is a Strong Regularizer for domain adaptive semantic segmentation},
author = {Yanqi Ge and Ye Huang and Wen Li and Lixin Duan},
journal= {arXiv preprint arXiv:2401.14686},
year = {2024}
}