用于域泛化与适应的风格归一化与复原
计算机视觉与模式识别
2022-03-14 v3
摘要
对于许多实际的计算机视觉应用，所学模型在用于训练的数据集上通常具有高性能，但在部署到新环境时会出现显著的性能下降，因为训练图像与测试图像之间通常存在风格差异。一个有效的域可泛化模型应能够学习到既具可泛化性又具判别性的特征表示。本文中，我们设计了一个新颖的风格归一化与复原模块(SNR)，以同时保证网络的高泛化性与高判别能力。在 SNR 模块中，我们特别地通过执行实例归一化(IN)来滤除风格变化（如光照、颜色对比度），从而获得风格归一化特征，降低了不同样本与域之间的差异。然而，该过程与任务无关，不可避免地移除了一些任务相关的判别信息，可能损害性能。为此，我们提出从残差（即原始特征与风格归一化特征之差）中蒸馏出任务相关的判别特征，并将其加回网络以保证高判别性。此外，为更好地解耦，我们在复原步骤中施加双重因果损失约束，以鼓励任务相关与任务无关特征的更好分离。我们在不同计算机视觉任务上验证了 SNR 的有效性，包括分类、语义分割与目标检测。实验表明，我们的 SNR 模块能够提升网络在域泛化(DG)与无监督域适应(UDA)上诸多任务中的性能。代码见 https://github.com/microsoft/SNR。
引用
@article{arxiv.2101.00588,
title = {Style Normalization and Restitution for Domain Generalization and Adaptation},
author = {Xin Jin and Cuiling Lan and Wenjun Zeng and Zhibo Chen},
journal= {arXiv preprint arXiv:2101.00588},
year = {2022}
}
备注
Published on IEEE Transactions on Multimedia. This paper extended SNR (CVPR'20) for domain generalization and adaptation to various computer vision tasks, e.g., image classification, object detection, semantic segmentation