语义感知的域泛化分割
计算机视觉与模式识别
2022-04-05 v1
摘要
在源域上训练的深度模型在评估具有不同数据分布的无未见目标域时缺乏泛化能力。当我们无法访问目标域样本进行自适应时，该问题变得更加显著。在本文中，我们解决域泛化语义分割问题，即在不使用任何目标域数据的情况下训练分割模型使其具有域不变性。现有的解决该问题的方法将数据标准化为统一分布。我们认为，虽然这种标准化促进了全局归一化，但所得特征不足以具有判别性以获得清晰的分割边界。为了在增强类别间分离的同时促进域不变性，我们提出了一个包含两种新颖模块的框架：语义感知归一化（SAN）和语义感知白化（SAW）。具体而言，SAN关注来自不同图像风格的特征之间的类别级中心对齐，而SAW对已中心对齐的特征实施分布对齐。在SAN和SAW的帮助下，我们鼓励类内紧凑性和类间可分离性。我们通过在广泛使用的数据集（即GTAV、SYNTHIA、Cityscapes、Mapillary和BDDS）上进行大量实验验证了我们的方法。我们的方法在各种骨干网络上相比现有最先进（SOTA）方法显示出显著改进。代码可在 https://github.com/leolyj/SAN-SAW 获取。
引用
@article{arxiv.2204.00822,
title = {Semantic-Aware Domain Generalized Segmentation},
author = {Duo Peng and Yinjie Lei and Munawar Hayat and Yulan Guo and Wen Li},
journal= {arXiv preprint arXiv:2204.00822},
year = {2022}
}
备注
16 pages, 7 figures, accepted at CVPR 2022 (Oral Presentation)