面向分布外泛化的相位匹配
计算机视觉与模式识别
2024-08-29 v6
摘要
傅里叶变换作为一种显式的视觉信号分解方法，已被用于解释深度神经网络（DNNs）的分布外泛化行为。先前研究表明，幅度谱易受分布偏移扰动的干扰，而相位谱保留了对于鲁棒视觉表示学习至关重要的高度结构化空间信息。受此启发，本文致力于厘清域泛化（DG）与频率分量之间的关系。具体而言，我们对频率分量给出了分布分析与实证实验。基于这些观察，我们提出一种称为PhaMa的相位匹配方法来解决DG问题。为此，PhaMa在幅度谱上引入扰动，并建立空间关系以通过块对比学习匹配相位分量。在多个基准上的实验表明，我们所提方法在域泛化与分布外鲁棒性任务上达到了最先进性能。除基础分析与实验外，我们还通过引入基于傅里叶的结构因果模型（SCM）进一步厘清了傅里叶分量与DG问题之间的关系。
引用
@article{arxiv.2307.12622,
title = {Phase Matching for Out-of-Distribution Generalization},
author = {Chengming Hu and Yeqian Du and Rui Wang and Hao Chen and Congcong Zhu},
journal= {arXiv preprint arXiv:2307.12622},
year = {2024}
}