Transformer 架构的曲面时空
机器学习
2025-11-06 v1 计算与语言
微分几何
摘要
我们提出了一种几何框架，用于理解基于 Transformer 的语言模型，显式地将其类比为广义相对论。查询和键在表示空间诱导有效度量，注意力作为离散连接在标记之间实现值向量的平行运输。堆叠的图层提供离散时间切片，沿其中标记表示演化；反向传播发挥作用于最小化损失轨迹的最小作用原理。若此类比正确，标记嵌入不应在特征空间中沿直线路径移动；相反，他们的层级步骤应随着由嵌入空间曲率所调节的相互作用而弯曲和重新定向。为测试此预测，我们设计了实验以暴露曲率的存在及其后果：(i) 我们可视化了完整段落的曲率景观，揭示了局部转角在不同标记和图层之间的变化；(ii) 我们通过仿真表明，过多的尖锐/平坦角以及较长的弦长比例无法由维度或运气解释；(iii) 受爱因斯坦日食实验的启发，我们探测在受控上下文编辑下的偏转，展示了可测量、在意义上一致的嵌入轨迹弯曲，确认注意力诱导的曲率。
关键词
引用
@article{arxiv.2511.03060,
title = {The Curved Spacetime of Transformer Architectures},
author = {Riccardo Di Sipio and Jairo Diaz-Rodriguez and Luis Serrano},
journal= {arXiv preprint arXiv:2511.03060},
year = {2025}
}