用于域泛化语义分割的双阶段风格化调制
计算机视觉与模式识别
2023-08-04 v4
摘要
在现实应用中,获取充足的标注数据以训练深度模型往往具有挑战性。为解决此问题,我们提出了一种用于单源域泛化语义分割的新方案。近期方法已探索使用幻觉技术增强数据多样性。然而,过度幻觉会降低性能,尤其对不平衡数据集而言。如我们的实验所示,与多数类相比,少数类更易因幻觉而出现性能下降。为应对该挑战,我们在对抗语义幻觉+(ASH+)框架内引入了双阶段特征变换(dFT)层。ASH+框架执行幻觉强度的双阶段调控。通过利用每个像素的语义信息,我们的方法自适应调整像素级幻觉强度,从而提供对幻觉的细粒度控制。我们通过在公开语义分割基准数据集(Cityscapes与SYNTHIA)上的综合实验验证了所提方法的有效性。定量与定性比较表明,我们的方法在Cityscapes数据集上与最先进方法具有竞争力,并在SYNTHIA数据集上超越现有方案。我们的框架代码将向研究界公开。
引用
@article{arxiv.2304.09347,
title = {Dual Stage Stylization Modulation for Domain Generalized Semantic Segmentation},
author = {Gabriel Tjio and Ping Liu and Chee-Keong Kwoh and Joey Tianyi Zhou},
journal= {arXiv preprint arXiv:2304.09347},
year = {2023}
}