你所需的仅是 Hopfield 网络
神经与进化计算
2021-04-29 v3 计算与语言
机器学习
机器学习
摘要
我们提出了一种具有连续状态及相应更新规则的现代 Hopfield 网络。该新 Hopfield 网络可存储指数级多（随联想空间维度增长）的模式，通过一次更新即可检索出模式，且检索误差呈指数级小。它具有三类能量极小点（更新的不动点）：(1) 对所有模式取平均的全局不动点，(2) 对模式子集取平均的亚稳态，(3) 存储单一模式的不动点。新的更新规则等价于 transformer 中使用的注意力机制。这一等价性使得对 transformer 模型各头进行刻画成为可能。这些头在前几层优先执行全局平均，在更高层通过亚稳态执行部分平均。该新现代 Hopfield 网络可作为层集成到深度学习架构中，以允许存储和访问原始输入数据、中间结果或学习到的原型。这些 Hopfield 层开启了超越全连接、卷积或循环网络的深度学习新途径，并提供池化、记忆、联想与注意力机制。我们展示了 Hopfield 层在各领域的广泛适用性。在四个多示例学习问题中，Hopfield 层在三个上改进了 SOTA，并在具有数十万实例的免疫组库分类上亦有所提升。在 UCI 小分类任务基准集合上（深度学习通常表现不佳），与不同机器学习方法相比，Hopfield 层取得了新的 SOTA。最后，Hopfield 层在两个药物设计数据集上达到了 SOTA。实现见：https://github.com/ml-jku/hopfield-layers
引用
@article{arxiv.2008.02217,
title = {Hopfield Networks is All You Need},
author = {Hubert Ramsauer and Bernhard Schäfl and Johannes Lehner and Philipp Seidl and Michael Widrich and Thomas Adler and Lukas Gruber and Markus Holzleitner and Milena Pavlović and Geir Kjetil Sandve and Victor Greiff and David Kreil and Michael Kopp and Günter Klambauer and Johannes Brandstetter and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2008.02217},
year = {2021}
}
备注
10 pages (+ appendix); 12 figures; Blog: https://ml-jku.github.io/hopfield-layers/; GitHub: https://github.com/ml-jku/hopfield-layers