超越齐普夫定律的标度律及其与希普斯定律的关系

词频统计性质对文本长度的依赖长期以来被认为是定量语言学的严重限制。我们提出了一个简单的词频分布标度形式，揭示了该分布随文本增长的稳健性。这样，分布形状始终保持不变，只有一个尺度参数随文本长度线性增长。通过分析非常长的小说，我们证明该行为既适用于原始未词形还原文本，也适用于词形还原文本。对于后者，词频分布很好地拟合为双幂律，大频率时保持齐普夫指数γ≈2，但在低频率区域产生较小的指数。分布随文本长度的增长使我们能够估计每一步的词汇量，并提出希普斯定律的替代方案，该方案由于标度行为而与齐普夫定律紧密相连。