面向域泛化分割的纹理学习域随机化
计算机视觉与模式识别
2023-08-21 v2
摘要
基于深度神经网络(DNNs)的语义分割模型在源域上训练后,往往难以泛化到未见过的目标域,即存在域间隙问题。纹理常常是造成域间隙的原因,由于DNNs容易偏向纹理,使其易受域偏移影响。现有的域泛化语义分割(DGSS)方法通过引导模型优先关注形状而非纹理来缓解域间隙问题。另一方面,形状与纹理是语义分割中两个显著且互补的线索。本文认为,在DGSS中利用纹理对于提升性能至关重要。具体而言,我们提出了一种新颖的框架,称为纹理学习域随机化(TLDR)。TLDR包含两种新颖的损失,以有效增强DGSS中的纹理学习:(1)一种纹理正则化损失,通过使用ImageNet预训练模型的纹理特征来防止对源域纹理的过拟合;(2)一种纹理泛化损失,利用随机风格图像以自监督方式学习多样的纹理表征。大量实验结果表明了所提TLDR的优越性;例如,TLDR在GTA-to-Cityscapes上使用ResNet-50取得了46.5 mIoU,比先前最优方法提升了1.9 mIoU。源代码见 https://github.com/ssssshwan/TLDR。
引用
@article{arxiv.2303.11546,
title = {Texture Learning Domain Randomization for Domain Generalized Segmentation},
author = {Sunghwan Kim and Dae-hwan Kim and Hoseong Kim},
journal= {arXiv preprint arXiv:2303.11546},
year = {2023}
}
备注
ICCV 2023