我们准备好迎接新范式转变了吗？视觉深度MLP综述
计算机视觉与模式识别
2022-04-26 v6
摘要
近来，提出的深度MLP模型在视觉界激起了大量兴趣。历史上，更大数据集与增强计算能力的可得性导致了范式转变。本综述论文详细探讨了MLP能否成为计算机视觉的新范式。我们细致比较了卷积、自注意力机制与Token-mixing MLP之间的内在联系与差异。给出了Token-mixing MLP的优势与局限，随后对近期类MLP变体从模块设计到网络架构及其应用进行了细致分析。在GPU时代，局部与全局加权求和是当前主流，以卷积、自注意力机制以及MLP为代表。我们建议范式的进一步发展应结合下一代计算设备一并考量。
引用
@article{arxiv.2111.04060,
title = {Are we ready for a new paradigm shift? A Survey on Visual Deep MLP},
author = {Ruiyang Liu and Yinghui Li and Linmi Tao and Dun Liang and Hai-Tao Zheng},
journal= {arXiv preprint arXiv:2111.04060},
year = {2022}
}
备注
With the development of MLP, the survey has been updated to the latest version in April