ALOFT：一种用于域泛化的带动态低频变换的轻量级类 MLP 架构
计算机视觉与模式识别
2023-04-03 v2 机器学习
摘要
域泛化（DG）旨在利用多个源域学习一个能对未见目标域良好泛化的模型，且无需重新训练。大多数现有 DG 工作基于卷积神经网络（CNN）。然而，卷积核的局部操作使模型过度关注局部表示（如纹理），这本质上导致模型更易过拟合源域并损害其泛化能力。近来，若干基于 MLP 的方法通过学图像不同块间的全局交互，在有监督学习任务中取得了有前景的结果。受此启发，本文首先分析 CNN 与 MLP 方法在 DG 中的差异，发现 MLP 方法表现出更好的泛化能力，因为它们比 CNN 方法能更好地捕捉全局表示（如结构）。然后，基于一种近期轻量级 MLP 方法，我们获得了一个强基线，其优于大多数最先进的基于 CNN 的方法。该基线可通过一个滤波器在频域中抑制与结构无关的信息来学习全局结构表示。此外，我们提出一种动态低频谱变换（dynAmic LOw-Frequency spectrum Transform, ALOFT），它能在保留全局结构特征的同时扰动局部纹理特征，从而使滤波器充分去除与结构无关的信息。在四个基准上的大量实验表明，与 SOTA 基于 CNN 的 DG 方法相比，我们的方法能以少量参数实现显著的性能提升。我们的代码见 https://github.com/lingeringlight/ALOFT/。
引用
@article{arxiv.2303.11674,
title = {ALOFT: A Lightweight MLP-like Architecture with Dynamic Low-frequency Transform for Domain Generalization},
author = {Jintao Guo and Na Wang and Lei Qi and Yinghuan Shi},
journal= {arXiv preprint arXiv:2303.11674},
year = {2023}
}
备注
Accepted by CVPR2023. The code is available at https://github.com/lingeringlight/ALOFT/