用于改进域泛化的源内风格增强
计算机视觉与模式识别
2023-05-30 v2 人工智能
机器学习
摘要
针对域偏移的泛化能力（如在自动驾驶等应用中频繁出现）仍是深度学习模型面临的重大挑战之一。因此，我们提出一种源内风格增强（ISSA）方法，以改进语义分割中的域泛化。我们的方法基于一种用于 StyleGAN2 反演的新型掩码噪声编码器。该模型通过学习预测噪声，忠实地重建图像并保留其语义布局。对估计噪声的随机掩码赋予了模型的风格混合能力，即允许改变图像的全局外观而不影响其语义布局。利用所提出的掩码噪声编码器随机化训练集中的风格与内容组合，ISSA 有效增加了训练数据的多样性并减少了虚假相关性。结果，在不同类型的数据偏移（即改变地理位置、恶劣天气条件以及白天到夜晚）下，我们在驾驶场景语义分割上实现了高达 mIoU 的提升。ISSA 与模型无关，可直接应用于 CNN 和 Transformers。它也与其它域泛化技术互补，例如，在 Cityscapes 到 Dark Zürich 上它将近期 SOTA 方案 RobustNet 提升了 mIoU。
引用
@article{arxiv.2210.10175,
title = {Intra-Source Style Augmentation for Improved Domain Generalization},
author = {Yumeng Li and Dan Zhang and Margret Keuper and Anna Khoreva},
journal= {arXiv preprint arXiv:2210.10175},
year = {2023}
}
备注
Accepted at WACV 2023. Code is available at https://github.com/boschresearch/ISSA