用于域泛化语义分割的风格幻觉双一致性学习
计算机视觉与模式识别
2022-07-20 v2
摘要
本文研究合成到真实的域泛化语义分割任务，旨在仅利用合成数据学习一个对未见真实场景鲁棒的模型。合成与真实数据之间的巨大域偏移，包括有限的源环境变化以及合成与真实数据间的较大分布差距，严重阻碍了模型在未见真实场景上的表现。本工作中，我们提出风格幻觉双一致性学习（SHADE）框架来处理此类域偏移。具体而言，SHADE 基于两种一致性约束构建：风格一致性（SC）与回溯一致性（RC）。SC 丰富了源场景并鼓励模型在风格多样化样本间学习一致表征。RC 利用真实世界知识防止模型过拟合于合成数据，从而在合成与真实模型间大幅保持表征一致。此外，我们提出了一种新颖的风格幻觉模块（SHM）来生成对一致性学习至关重要的风格多样化样本。SHM 从源分布中选取基风格，使模型能在训练期间动态生成多样且真实的样本。实验表明，我们的 SHADE 取得了显著改进，在单源和多源设置下三个真实数据集的平均 mIoU 上分别超越最先进方法 5.05% 和 8.35%。
引用
@article{arxiv.2204.02548,
title = {Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation},
author = {Yuyang Zhao and Zhun Zhong and Na Zhao and Nicu Sebe and Gim Hee Lee},
journal= {arXiv preprint arXiv:2204.02548},
year = {2022}
}
备注
ECCV 2022