用于域泛化语义分割的对抗语义幻觉
计算机视觉与模式识别
2021-10-27 v6
摘要
当测试（目标域）与训练（源域）数据分布显著不同时，卷积神经网络通常表现不佳。虽然可利用目标域数据对齐源域与目标域特征表示来缓解该问题，但出于隐私考虑目标域数据可能不可用。因此，需要能够在训练期间受限访问目标域数据时仍具良好泛化能力的方法。本工作中，我们提出一种对抗语义幻觉方法（ASH），其结合了类条件幻觉模块与语义分割模块。由于不同类的分割性能存在差异，我们设计了一种语义条件风格幻觉模块，从源域图像分割概率图中的语义信息生成仿射变换参数。与以往平等对待所有类的自适应方法不同，ASH 考虑了类间差异。分割模块与幻觉模块进行对抗竞争，幻觉模块生成愈发“困难”的风格化图像以挑战分割模块。作为响应，分割模块通过在适当类级难度下以生成样本训练而得以提升。我们在 Cityscapes 与 Mapillary 基准数据集上的结果表明，我们的方法与最先进工作具有竞争力。代码见 https://github.com/gabriel-tjio/ASH。
引用
@article{arxiv.2106.04144,
title = {Adversarial Semantic Hallucination for Domain Generalized Semantic Segmentation},
author = {Gabriel Tjio and Ping Liu and Joey Tianyi Zhou and Rick Siow Mong Goh},
journal= {arXiv preprint arXiv:2106.04144},
year = {2021}
}
备注
Accepted in WACV 2022