无世界模型的世界属性：从静态词嵌入的共现统计中恢复空间与时间结构

最近的工作将从大型语言模型(LLM)隐藏状态中对地理和时间变量的线性可恢复性解释为世界样内部表示存在证据。我们测试一种更简单的情况: 相关结构是否已存在于文本本身之中。对同一类别的岭回归探针作用于静态共现基于嵌入(GloVe和Word2Vec)时, 我们发现 substantial recoverable geographic signal and weaker but reliable temporal signal, with held-out R^2 values of 0.71-0.87 for city coordinates and 0.48-0.52 for historical birth years. 语义邻域分析和针对性的子空间消除显示, 这些信号强烈依赖于可解释的词汇梯度, 特别是国家名称和气候相关词汇。这些发现表明, 普通词汇共现保留了比通常所假设的更丰富的空间、时间和环境结构, 揭示了简单静态嵌入保存文本alone world-shaped structure的惊人且鲜为人知的能力。线性探针可恢复性因此不足以确立超越文本的表征性迁移。