学习增强：面向域泛化分割的数据幻构
计算机视觉与模式识别
2023-09-13 v2
摘要
域泛化语义分割（DGSS）是一项重要但极具挑战的任务，其中模型仅在源数据上训练且无法获取任何目标数据。现有 DGSS 方法主要标准化特征分布或利用额外的域数据进行增强。然而，前者牺牲了有价值的信息，后者引入了域偏差。因此，在无辅助数据的情况下生成多样风格的源数据成为一种有吸引力的策略。有鉴于此，我们提出基于 GAN 的特征增强（GBFA），其通过特征生成器在保留语义内容的同时幻构风格化特征图。GAN 强大的生成能力使 GBFA 能够在端到端框架中执行通道间且可训练的特征合成。为使 GBFA 可学习，我们引入随机图像色彩增强（RICA），在训练期间为源图像添加多样化变化。这些增强图像随后通过特征提取器以获得适配 GBFA 训练的特征。GBFA 与 RICA 均仅在源域内运作，无需辅助数据集。我们进行了大量实验，从合成 GTAV 和 SYNTHIA 到真实 Cityscapes、BDDS 和 Mapillary 数据集的泛化结果表明，我们的方法在 DGSS 中达到了最先进的性能。
引用
@article{arxiv.2307.01703,
title = {Learning to Augment: Hallucinating Data for Domain Generalized Segmentation},
author = {Qiyu Sun and Pavlo Melnyk and Michael Felsberg and Yang Tang},
journal= {arXiv preprint arXiv:2307.01703},
year = {2023}
}