从嵌入到狄森级数：变换器机制的数非厄米特算子理论

变换器架构通常以算法和统计术语描述，使其内部机制缺乏物理理论中熟悉的结构语言。为弥合这一差距，我们发展了一种互补的算子论框架，将其机制重构为多体物理中熟悉的语言。从令牌作为离散指数（不具内在几何）开始，我们展示嵌入对应于进入连续表示空间的基变换。一旦建立了该参考基，自注意力自然扮演非厄米特相互作用算子的角色，网络深度实现了这些相互作用的有序组合。在该框架下，深度变换器的若干经验属性——包括大深度下的稳定性、表征饱和以及多头分解的有效性——发现自然的结构解释，这些解释作为受调节算子组合的 consequences。与此同时，通道分解和归一化作为组织结构逻辑而非孤立的架构选择。该视角不依赖事后类比，而是遵循构造性路径，其中每个平行源于前一步的结构。通过将变换器机制重构为算子语言，此框架通过共享的数学结构，降低了深度学习与多体物理之间概念障碍，使各领域的工具和直觉更易于相互理解。