作为高效全局令牌混合器的自适应频率滤波器
计算机视觉与模式识别
2023-07-27 v1
摘要
近期的视觉 transformers、大核 CNN 与 MLP 因其在全局范围内的有效信息融合,在广泛视觉任务中取得显著成功。然而,由于其自注意力机制、大核或全连接层的沉重计算成本,它们的有效部署(尤其在移动设备上)仍面临显著挑战。本文中,我们将传统卷积定理应用于深度学习以解决此问题,并揭示自适应频率滤波器可作为高效的全局 token mixer。基于此见解,我们提出自适应频率滤波(AFF)令牌混合器。该神经算子通过傅里叶变换将潜表示转到频域,并通过逐元素乘法进行语义自适应频率滤波,这在数学上等价于在原潜空间中使用动态卷积核(其大小等于该潜表示的空间分辨率)的令牌混合操作。我们以 AFF 令牌混合器为主要神经算子构建轻量神经网络 AFFNet。大量实验证明了所提 AFF 令牌混合器的有效性,并表明 AFFNet 在包括视觉识别与密集预测任务在内的广泛视觉任务上,相较其他轻量网络设计取得了更优的精度与效率权衡。
引用
@article{arxiv.2307.14008,
title = {Adaptive Frequency Filters As Efficient Global Token Mixers},
author = {Zhipeng Huang and Zhizheng Zhang and Cuiling Lan and Zheng-Jun Zha and Yan Lu and Baining Guo},
journal= {arXiv preprint arXiv:2307.14008},
year = {2023}
}
备注
Accepted by ICCV2023