基于短程相互作用的上下文相关随机语言模型的相变
计算与语言
2026-04-02 v1 统计力学
机器学习
摘要
自 E. DeGiuli 提出随机语言模型 [Phys. Rev. Lett. 122, 128301] 起，语言模型从统计力学视角受到广泛关注。最近，数值研究表明具有符号长程相互作用的模型中存在巴赫兹曼-科斯特尔维茨-斐托(Berezinskii--Kosterlitz--Thouless)相变。在统计力学中，长程相互作用已知可诱导出相变，因此人们始终不明确的是：语言模型中观察到的相变是否源于语言固有的特性，而非常规自旋模型中所 lacking 的特性。本文构建了一种带短程相互作用的随机语言模型，并数值研究其统计性质。该模型属于克莱斯基层级中的上下文相关语法，允许显式引用上下文。我们发现，即使模型仅引用句子长度不变的上下文长度，仍会发生相变。此结果表明，语言模型中的有限温度相变确实由语言的内在本质引起，而非由长程相互作用所致。
引用
@article{arxiv.2604.00947,
title = {Phase transition on a context-sensitive random language model with short range interactions},
author = {Yuma Toji and Jun Takahashi and Vwani Roychowdhury and Hideyuki Miyahara},
journal= {arXiv preprint arXiv:2604.00947},
year = {2026}
}