门控循环神经网络发现注意力
机器学习
2024-02-08 v2 神经与进化计算
摘要
近期的架构发展使循环神经网络（RNNs）能够在某些序列建模任务上达到甚至超越Transformer的性能。这些现代RNN具有一个显著的设计模式：由带乘性门控的前馈路径互联的线性循环层。在此，我们展示了配备这两个设计元素的RNN如何精确实现（线性）自注意力——Transformer的主要构建模块。通过对一组训练好的RNN进行逆向工程，我们发现实践中梯度下降发现了我们的构造。具体而言，我们考察了在已知Transformer擅长的简单上下文学习任务上训练的RNN，并发现梯度下降在我们的RNN中灌输了与Transformer所用的相同的基于注意力的上下文学习算法。我们的发现凸显了乘性交互在神经网络中的重要性，并表明某些RNN可能在内部意外地实现了注意力。
引用
@article{arxiv.2309.01775,
title = {Gated recurrent neural networks discover attention},
author = {Nicolas Zucchet and Seijin Kobayashi and Yassir Akram and Johannes von Oswald and Maxime Larcher and Angelika Steger and João Sacramento},
journal= {arXiv preprint arXiv:2309.01775},
year = {2024}
}