分解、调整、组合：通过频域操作实现有效的域泛化归一化
计算机视觉与模式识别
2023-03-16 v3
摘要
域泛化（DG）是评估计算机视觉模型鲁棒性的主要任务。许多先前的研究使用归一化来进行 DG。在归一化中，统计量和归一化特征分别被视为风格和内容。然而，由于在去除风格时内容与风格的边界不清晰，它存在内容变异问题。本研究从频域视角解决此问题，其中振幅和相位分别被视为风格和内容。首先，我们通过傅里叶变换公式的数学推导验证了归一化的定量相位变异。然后，基于此，我们提出了一种新颖的归一化方法 PCNorm，它通过谱分解仅消除风格而保留内容。此外，我们提出了先进的 PCNorm 变体 CCNorm 和 SCNorm，分别调整内容和风格的变化程度。因此，它们可以学习用于 DG 的域不可知表示。利用这些归一化方法，我们提出了对域间隙鲁棒的 ResNet 变体模型 DAC-P 和 DAC-SC。所提模型优于其他近期 DG 方法。DAC-SC 在 PACS、VLCS、Office-Home、DomainNet 和 TerraIncognita 五个数据集上取得了 65.6% 的平均最优性能。
引用
@article{arxiv.2303.02328,
title = {Decompose, Adjust, Compose: Effective Normalization by Playing with Frequency for Domain Generalization},
author = {Sangrok Lee and Jongseong Bae and Ha Young Kim},
journal= {arXiv preprint arXiv:2303.02328},
year = {2023}
}
备注
10 pages,6 figures, Conference on Computer Vision and Pattern Recognition 2023