作为信息重整化的语言设计

本文从物理学视角审视句法中一些众所周知的事实，使我们能够在两个领域之间建立等价关系，并带来诸多推论。主要地，我们观察到N. Chomsky在1995年提出的MERGE操作可以被解释为一种物理信息粗粒化。因此，语言学中的MERGE对应物理学中根据不同时间尺度的信息重整化。我们以语言模型的形式在数学上严格阐述这一点。在此设定下，MERGE相当于一个实现粗粒化的概率张量，类似于概率上下文无关文法。有意义句子的概率向量由随机张量网络（TN）给出，这些网络由对角张量构建且大多无环，例如树张量网络和矩阵乘积态，因此在计算上非常高效。我们证明这蕴含了在语言中实验观察到的多项式衰减（长程）相关性，也为某些类型的神经网络用于语言处理提供了论据。此外，我们展示了如何从可在量子计算机上高效制备的量子态中获得此类语言模型，并利用这一点来寻找句子中单词概率分布的困惑度界限。我们讨论了结果在多个领域的影响。