通过协方差对齐与语义一致性对比学习实现风格盲域泛化语义分割
计算机视觉与模式识别
2024-03-12 v1
摘要
用于语义分割的深度学习模型在部署到训练阶段未识别的未见目标域时，经常经历性能下降。这主要是由于来自不同数据源的图像纹理（即风格）变化所致。为了应对这一挑战，现有的域泛化语义分割（DGSS）方法试图从特征中去除风格变化。然而，这些方法难以处理风格与内容的纠缠，这可能导致无意中移除关键的内容信息，从而引起性能下降。本研究通过提出 BlindNet 来解决这一局限性，这是一种无需外部模块或数据集即可屏蔽风格的新型 DGSS 方法。我们提出方法背后的主要思想是在编码器中减轻风格的影响，同时在解码器中促进鲁棒的分割。为此，BlindNet 包含两个关键组件：协方差对齐和语义一致性对比学习。具体而言，协方差对齐训练编码器以统一识别各种风格并保留特征的内容信息，而不是去除风格敏感因子。同时，语义一致性对比学习使解码器能够构建判别性类嵌入空间，并解耦容易误分类的特征。通过大量实验，我们的方法优于现有的 DGSS 方法，在未见目标域的语义分割上表现出鲁棒性和卓越的性能。
引用
@article{arxiv.2403.06122,
title = {Style Blind Domain Generalized Semantic Segmentation via Covariance Alignment and Semantic Consistence Contrastive Learning},
author = {Woo-Jin Ahn and Geun-Yeong Yang and Hyun-Duck Choi and Myo-Taeg Lim},
journal= {arXiv preprint arXiv:2403.06122},
year = {2024}
}
备注
CVPR 2024