Transformer的概率解释
机器学习
2022-05-03 v1
摘要
我们提出了Transformer指数点积注意力以及基于指数族对比学习的概率解释。Transformer的注意力子层等价于对数归一化器的梯度上升步骤，该对数归一化器即注意力Hopfield理论中的log-sum-exp项。这一上升步骤引发了点的并行扩展，并被层归一化带来的收缩所抵消。我们还指出了我们的理论及Hopfield理论在理论上的局限性，并提出了解决方向。
引用
@article{arxiv.2205.01080,
title = {A Probabilistic Interpretation of Transformers},
author = {Alexander Shim},
journal= {arXiv preprint arXiv:2205.01080},
year = {2022}
}
备注
Accepted in ICML 2021 Workshop: Self-Supervised Learning for Reasoning and Perception