自然语言是一个周记过程吗？事实与词语定理再探

正如我们所讨论的，当从该过程采样的无限长随机文本中可以检测到随机持久主题时，平稳随机过程是非遍历的；而当需要一条由独立随机比特组成的无限序列（称为概率事实）来完整描述该主题时，我们称该过程为强非遍历的。通过将概率事实替换为算法随机比特序列（称为算法事实），我们将此性质重新适配于遍历过程。随后，如果从该过程采样的有限文本中可推断出的算法事实数量随文本长度呈幂律增长，我们便称该过程为周记过程。我们给出了此类过程的一个简单示例。此外，我们证明了一个我们称之为事实与词语定理的命题。该命题指出，从过程抽取的文本中可推断出的概率或算法事实的数量，必须大致少于通过 PPM 压缩算法在该文本中检测到的不同类词字符串的数量。我们还观察到，对于莎士比亚戏剧样本，类词字符串的数量遵循经验阶梯幂律，这与 Markov 过程形成鲜明对比。因此我们推测，将自然语言视为一个过程不仅是非 Markov 的，而且是周记的。