当模型操控流形时：计数任务的几何学
机器学习
2026-01-09 v1
摘要
语言模型尽管仅接收 token 序列，却能感知文本的视觉属性——我们从机制上研究了 Claude 3.5 Haiku 如何完成这样一项任务：固定宽度文本中的换行。我们发现字符计数表示在由稀疏特征族离散化的低维弯曲流形上，类似于生物位置细胞。准确的预测源于一系列几何变换：token 长度被累积到字符计数流形中，注意力头扭转这些流形以估计到行边界的距离，而通过将估计值正交排列以创建线性决策边界，使得换行决策得以实现。我们通过因果干预验证了我们的发现，并发现了视觉错觉——即劫持计数机制的字符序列。我们的工作展示了早期层丰富的感觉处理、注意力算法的精妙性，以及结合基于特征和几何视角进行可解释性的重要性。
引用
@article{arxiv.2601.04480,
title = {When Models Manipulate Manifolds: The Geometry of a Counting Task},
author = {Wes Gurnee and Emmanuel Ameisen and Isaac Kauvar and Julius Tarng and Adam Pearce and Chris Olah and Joshua Batson},
journal= {arXiv preprint arXiv:2601.04480},
year = {2026}
}