语言模型中地理表征的缩放定律

语言模型长期以来被证明在其隐藏表征中嵌入了地理信息。最近的研究通过将这一结果扩展到大语言模型（LLM）重新审视了该方向。在本文中，我们旨在通过观察语言模型缩放过程中地理知识的演变，填补成熟文献与最新研究之间的空白。我们发现，即使是极小的模型也能观察到地理知识，且随着模型规模的增加，地理知识呈现一致的缩放趋势。值得注意的是，我们观察到较大的语言模型无法缓解训练数据中固有的地理偏差。