WildNet:从自然场景中学习域泛化语义分割
计算机视觉与模式识别
2022-04-05 v1
摘要
我们提出一种名为 WildNet 的新域泛化语义分割网络,它通过利用来自自然场景的多样内容与风格来学习域泛化特征。在域泛化中,对未见目标域的低泛化能力显然源于对源域的过拟合。为解决此问题,先前工作集中于通过去除或多样化源域风格来实现域泛化。这些方法缓解了针对源风格的过拟合,却忽视了针对源内容的过拟合。本文中,我们提出借助自然场景来同时多样化源域的内容与风格。我们的核心思想是让网络从自然场景中自然学习域泛化的语义信息。为此,我们通过增强源特征以模仿自然场景风格来多样化风格,使网络适应多种风格。此外,我们通过在特征空间中向源内容借入来自自然场景的语义变化,鼓励网络学习类判别特征。最后,我们正则化网络,以使其在源域内容与风格均扩展至自然场景时仍能捕获一致的语义信息。在五个不同数据集上的大量实验验证了我们的 WildNet 的有效性,并且我们显著优于当前最优(state-of-the-art)方法。源代码与模型在线可用:https://github.com/suhyeonlee/WildNet。
引用
@article{arxiv.2204.01446,
title = {WildNet: Learning Domain Generalized Semantic Segmentation from the Wild},
author = {Suhyeon Lee and Hongje Seong and Seongwon Lee and Euntai Kim},
journal= {arXiv preprint arXiv:2204.01446},
year = {2022}
}
备注
Accepted to CVPR 2022