iMixer:层次化 Hopfield 网络蕴含可逆、隐式且迭代的 MLP-Mixer

过去几年,Transformers 在计算机视觉中的成功刺激了许多与 Transformers 竞争的替代模型的发现,如 MLP-Mixer。尽管这些模型归纳偏置较弱,却取得了可与研究充分的卷积神经网络相媲美的性能。近期关于现代 Hopfield 网络的研究提示了某些基于能量的联想记忆模型与 Transformers 或 MLP-Mixer 之间的对应,并为 Transformer 类架构设计提供了理论背景的洞见。本文中,我们将该对应推广至近期引入的层次化 Hopfield 网络,并发现 iMixer——MLP-Mixer 模型的一种新颖推广。与普通前馈神经网络不同,iMixer 包含从输出侧向前输入侧传播的 MLP 层。我们将该模块刻画为可逆、隐式且迭代混合模块的一个实例。我们在图像分类任务上以多种数据集评估模型性能,发现 iMixer 尽管架构独特,却展现出稳定的学习能力,并取得与基线原始 MLP-Mixer 相当或更优的性能。结果表明,Hopfield 网络与 Mixer 模型间的对应可作为理解更广泛 Transformer 类架构设计的原则。