FAMLP:一种用于域泛化的频域感知类MLP架构
计算机视觉与模式识别
2022-03-25 v1
摘要
完全基于多层感知机构建的类 MLP 模型近来被重新审视,展现出与 transformers 相当的性能。由于其在大尺度识别任务中网络能力与效率间的优异权衡,它是最有前景的架构之一。然而,由于对域信息的广泛保留,其到异构任务的泛化性能劣于其他架构(如 CNN 与 transformers)。为解决该问题,我们提出一种新颖的频域感知 MLP 架构,在变换后的频域中滤除域特定特征,增强用于标签预测的不变描述子。具体地,我们设计了一个自适应傅里叶滤波层,其中利用可学习频域滤波器通过优化实部与虚部来调整幅度分布。进一步提出低秩增强模块,通过添加来自 SVD 分解的低频分量来校正滤波后特征。最后,采用动量更新策略,通过带加权历史状态的输出蒸馏来稳定因模型参数与输入波动导致的优化。据我们所知,我们首个提出用于域泛化的类 MLP 骨干。在三个基准上的大量实验表明显著的泛化性能,分别以 3%、4% 和 9% 的优势超越 SOTA 方法。
引用
@article{arxiv.2203.12893,
title = {FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization},
author = {Kecheng Zheng and Yang Cao and Kai Zhu and Ruijing Zhao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2203.12893},
year = {2022}
}