中文

变换器隐藏状态中的关系秩几何:检测与驾驭隐藏状态关系框

机器学习 2026-05-29 v1

摘要

变换器隐藏状态通常通过局部或低阶对象进行解释:神经元、稀疏特征、注意力头、残差流方向或激活块。本文研究的是另一种对象:令牌元组之间关系的秩索引几何。我使用普莱克符号熵来测试 r 参数关系是否在隐藏状态空间中留下仍作为序数签名。对于 Llama 系列 8B、70B 和 405B 检查点,在真实关系元组在预期秩 k=r(r=3,...,6)处显示更强的定向签名一致性,而在相同随机控制下的乱序元组则表现较弱。多模板审计显示,这种效应可抵御表面变化,所有 405B 行均保留正预期秩边际,8B/70B 保留正行且具有构造函数特定的混合单元。随后我们探讨相同的关系几何是否可以被驾驭。在 32 个提示的边缘网格清洁/损坏干预实验中,行/列框架和答案格式保持不变,而 YES/NO 关系图发生变化,损坏的隐藏状态关系框被修复以接近清洁或安慰目标。在 70B 和 405B 中,清洁目标化关系框路径恢复清洁答案行为和残差关系几何,而质心唯一和等范数控制显示的恢复几乎可忽略不计。站位/顺序控制进一步区分标记位置重要性与有序清洁框几何:目标清洁形状和跨提示清洁形状在标记界面处恢复行为和残差几何,而损坏捐赠传递、相同站位置换/反射、错误站位清洁 delta、质心唯一运动和等范数噪声均失败或远低于清洁框路径。结果是从关系探测到关系框干预之间建立受控桥梁:关系秩几何可以在变换器隐藏状态中检测、定位并行为验证。

关键词

引用

@article{arxiv.2605.29634,
  title  = {Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames},
  author = {Mazen Kobrosly},
  journal= {arXiv preprint arXiv:2605.29634},
  year   = {2026}
}

备注

32 pages, 9 figures