自注意力作为分布投影：Transformer 架构的统一解释
机器学习
2025-11-19 v1
摘要
本文通过将自注意力机制与分布语义原理相连接，提出了一种数学解释。我们展示了自注意力如何从投影语料库级别的共现统计中产生。从构成 GloVe 嵌入的共现矩阵出发，我们演示了这种投影如何自然捕获语境影响，查询-键-值机制则作为捕获方向关系的自然非对称扩展。位置编码和多头注意力随后成为这一同一投影原则的结构化细化。我们的分析表明，Transformer 架构的特定代数形式是由这些投影原则所决定，而非任意的设计选择。
引用
@article{arxiv.2511.13780,
title = {Self-Attention as Distributional Projection: A Unified Interpretation of Transformer Architecture},
author = {Nihal Mehta},
journal= {arXiv preprint arXiv:2511.13780},
year = {2025}
}
备注
17 pages, 0 figures. This work provides a mathematical interpretation of self-attention mechanisms in Transformers through distributional semantics principles