基于样本内与样本外范例的风格合成用于改进域泛化

针对域偏移的泛化，如自动驾驶应用中频繁出现的那样，是深度学习模型剩余的巨大挑战之一。因此，我们提出一种基于范例的风格合成流程，以改进语义分割中的域泛化。我们的方法基于一种用于 StyleGAN2 反演的新型掩码噪声编码器。该模型学习忠实重建图像，通过噪声预测保持其语义布局。使用所提出的掩码噪声编码器随机化训练集中的风格与内容组合，即样本内风格增强 (ISSA) 有效增加训练数据多样性并减少虚假关联。结果，我们在不同数据类型偏移（即改变地理位置、恶劣天气条件和白天到夜晚）下的驾驶场景语义分割上实现了高达 $12.4\%$ mIoU 提升。ISSA 与模型无关，可直接应用于 CNN 和 Transformers。它也与其它域泛化技术互补，例如，它在 Cityscapes 到 Dark Zürich 上将近期最先进方案 RobustNet 提升了 $3\%$ mIoU。此外，我们展示了所提出风格合成流程的强即插即用能力，其可直接用于样本外范例（例如网络爬取图像），无需任何重训练或微调。另外，我们研究了一种新用例，通过构建风格化代理验证集来指示神经网络的泛化能力。该应用对选择在开放世界环境中部署的模型具有显著实际意义。我们的代码可在 \url{https://github.com/boschresearch/ISSA} 获取。