图像块即波：相位感知的视觉MLP
计算机视觉与模式识别
2022-04-07 v5
摘要
在计算机视觉领域，近期研究表明，主要由全连接层堆叠而成的纯MLP架构能够取得与CNN和Transformer相媲美的性能。视觉MLP的输入图像通常被分割为多个令牌（图像块），而现有的MLP模型直接以固定权重聚合它们，忽略了来自不同图像的令牌所蕴含的语义信息差异。为动态聚合令牌，我们提出将每个令牌表示为一个具有幅度和相位两部分的波函数。幅度是原始特征，而相位项是一个根据输入图像语义内容变化的复数值。引入相位项可以动态调制MLP中令牌与固定权重之间的关系。基于这种波状令牌表示，我们为视觉任务建立了一种新颖的Wave-MLP架构。大量实验证明，所提出的Wave-MLP在图像分类、目标检测和语义分割等多种视觉任务上优于当前最先进的MLP架构。源代码可在 https://github.com/huawei-noah/CV-Backbones/tree/master/wavemlp_pytorch 和 https://gitee.com/mindspore/models/tree/master/research/cv/wave_mlp 获取。
引用
@article{arxiv.2111.12294,
title = {An Image Patch is a Wave: Phase-Aware Vision MLP},
author = {Yehui Tang and Kai Han and Jianyuan Guo and Chang Xu and Yanxi Li and Chao Xu and Yunhe Wang},
journal= {arXiv preprint arXiv:2111.12294},
year = {2022}
}
备注
This paper is accepted by CVPR 2022 (oral presentation)