用于域泛化城市场景分割的对抗风格增强
计算机视觉与模式识别
2022-10-14 v2
摘要
在本文中，我们考虑语义分割中的域泛化问题，其旨在仅使用有标注的合成（源）数据学习一个鲁棒模型。该模型预期在未见过的真实（目标）域上表现良好。我们的研究发现图像风格变化会大幅影响模型性能，且风格特征可由图像的通道均值和标准差很好地表示。受此启发，我们提出一种新颖的对抗风格增强（AdvStyle）方法，它能在训练期间动态生成困难风格化图像，从而有效防止模型在源域上过拟合。具体而言，AdvStyle将风格特征视为可学习参数并通过对抗训练更新。学习到的对抗风格特征用于构造对抗图像以进行鲁棒模型训练。AdvStyle易于实现且可轻松应用于不同模型。在两个合成到真实的语义分割基准上的实验表明，AdvStyle能显著提升模型在未见真实域上的性能，并且我们可达到当前最优（SOTA）。此外，AdvStyle可用于域泛化图像分类，并在所考虑的数据集上产生明显改进。
引用
@article{arxiv.2207.04892,
title = {Adversarial Style Augmentation for Domain Generalized Urban-Scene Segmentation},
author = {Zhun Zhong and Yuyang Zhao and Gim Hee Lee and Nicu Sebe},
journal= {arXiv preprint arXiv:2207.04892},
year = {2022}
}
备注
NeurIPS 2022