人类感知领域几何在 LLM 表示中暂时性地显现

虽然大型语言模型（LLM）仅基于文本数据进行训练，但 prior work 表明其内部表示在嵌入空间中可以 exhibit rich geometric structure。基于此工作，我们调查此类结构是否类似于人类感知组织，涵盖不同领域（如颜色、音高、情感和味觉）。具体而言，我们研究了多个开源 transformer 架构残差流中的感知模态内在几何结构的层级显现。我们的结果揭示了三个关键发现。首先，我们观察到多个感知领域出现层级几何结构，尽管训练期间没有直接的感知监督。其次，这些感知领域 exhibit distinct emergence profiles，几何结构及其与人类基准的对齐均遵循 domain-和 model-specific 的轨迹在深度层中演化。第三，这种显现遵循一致的表征轨迹：几何在早期层中较弱或扩散，在中间层中逐渐组织，在后期层中被削弱，表明感知几何暂时性地作为模型内部转换管道的一部分出现。这为如何和何处在 LLM 中出现类似人类的感知几何提供了新见解，为对内部表征的机制性分析提供了原则性路径。