信息在自然语言中的周期性

自然语言信息密度的最新理论进步引发了一个值得探讨的问题：自然语言在其编码信息方面是否表现出周期性模式？我们通过引入一种新方法——信息惊讶周期检测法（AutoPeriod of Surprisal, APS）来回答此问题。APS采用标准的周期检测算法，能够识别单个文档中惊讶序列中存在的任何显著周期。通过将该算法应用于一组语料库，我们获得了以下有趣的结果：首先，相当比例的人类语言在信息方面表现出强烈的周期模式；其次，发现了超出典型文本结构单元（如句子边界、基本语义单元等）分布的新周期，并通过谐波回归建模予以进一步确认。我们得出结论，自然语言信息的周期性是结构性因素与其他在更长距离范围内发挥作用的驱动因素共同决定的结果。讨论了该周期检测方法的优势及其在大语言模型生成检测中的潜在应用。