基于单现词率模型对 Zipf 定律与 Heaps 定律的修正

本文基于单现词（即仅出现一次的词语）比例的系统性模型，引入对 Zipf 定律与 Heaps 定律的修正。推导基于两个假设：其一是标准瓮模型，该模型预测较短文本的边际频率分布看起来如同词例是从给定较长文本中盲目抽样所得；其二是假设单现词率是文本长度的简单函数。文中讨论了四种此类函数：常数模型、Davis 模型、线性模型与逻辑斯蒂模型，并表明逻辑斯蒂模型拟合最优。