Glauber动力学在遮蔽语言模型上的混合时间

遮蔽语言模型（MLMs）定义了关于token的局部条件分布，但通常不对应于关于序列的任何一致联合分布。这提出了一个根本性问题：当这些条件以迭代方式用于生成时，会诱导何种全局分布行为？我们通过将迭代遮蔽token重新采样建模为离散token序列空间上的Glauber动力学马尔可夫链来回答此问题。我们首先表明，MLM条件在本质上是不相容的：我们引入一种矩形检测法来认证这种不相容性，并在现代MLMs中经验性地验证其普遍性。随后，我们对诱导的马尔可夫链进行理论分析。在受限跨token影响的情况下，我们建立了一个高温收缩结果，暗示混合时间为$O(n\log n)$，其中$n$为序列长度。相比之下，我们证明在均匀局部边际条件下，该链 exhibits metastability，即在低温下呈指数级逃离语义池塘。经验上，我们进一步表明温度和序列长度之间的混合行为呈现相变，符合理论预测。我们进一步通过语义轨迹来 characterize 诱导的平稳行为，识别出持久的陷阱和反复的语义池塘，其中政治内容作为可衡量的案例研究。