风格幻觉双重一致性学习：面向视觉领域泛化的统一框架
计算机视觉与模式识别
2023-11-28 v2
摘要
领域偏移在视觉世界中广泛存在，而现代深度神经网络由于泛化能力差，在领域偏移下通常遭受严重的性能下降，这限制了其实际应用。领域偏移主要在于有限的源环境变化以及源数据和未见目标数据之间巨大的分布差距。为此，我们提出了一个统一的框架，即风格幻觉双重一致性学习（Style-HAllucinated Dual consistEncy learning，SHADE），以处理各种视觉任务中的此类领域偏移。具体来说，SHADE 基于两个一致性约束构建：风格一致性（Style Consistency, SC）和回溯一致性（Retrospection Consistency, RC）。SC 丰富了源域情境，并鼓励模型学习跨风格多样化样本的一致性表示。RC 利用通用视觉知识防止模型过拟合源数据，从而在很大程度上保持源模型和通用视觉模型之间表示的一致性。此外，我们提出了一个新颖的风格幻觉模块（Style Hallucination Module, SHM）来生成对一致性学习至关重要的风格多样化样本。SHM 从源分布中选择基础风格，使模型能够在训练期间动态生成多样化且逼真的样本。大量实验表明，我们通用的 SHADE 可以显著增强各种视觉识别任务（包括图像分类、语义分割和目标检测）在不同模型（即卷积神经网络和 Transformer）上的泛化能力。
引用
@article{arxiv.2212.09068,
title = {Style-Hallucinated Dual Consistency Learning: A Unified Framework for Visual Domain Generalization},
author = {Yuyang Zhao and Zhun Zhong and Na Zhao and Nicu Sebe and Gim Hee Lee},
journal= {arXiv preprint arXiv:2212.09068},
year = {2023}
}
备注
Accepted by IJCV. Journal extension of arXiv:2204.02548. Code is available at https://github.com/HeliosZhao/SHADE-VisualDG