注意力能否使MLP赶上CNN？
计算机视觉与模式识别
2021-06-01 v1 机器学习
摘要
2021年5月的第一周，来自四家不同机构——谷歌、清华大学、牛津大学和Facebook——的研究人员几乎同时在arXiv.org上分享了他们的最新工作[16, 7, 12, 17]，各自提出了主要由线性层组成的新学习架构，声称其与基于卷积的模型相当甚至更优。这在学术与工业界立即引发了关于“MLP是否足够”的讨论与辩论，许多人认为学习架构正在回归MLP。这是真的吗？本述评中，我们简要回顾学习架构的历史，包括多层感知机（MLP）、卷积神经网络（CNN）与Transformer。随后我们考察四种新提出架构的共同点。最后，我们就新学习架构的挑战与方向给出我们的观点，希望能启发未来研究。
引用
@article{arxiv.2105.15078,
title = {Can Attention Enable MLPs To Catch Up With CNNs?},
author = {Meng-Hao Guo and Zheng-Ning Liu and Tai-Jiang Mu and Dun Liang and Ralph R. Martin and Shi-Min Hu},
journal= {arXiv preprint arXiv:2105.15078},
year = {2021}
}
备注
Computational Visual Media, 2021, accepted. 4 pages, 1 figure