书面文本中句子长度度量的鲁棒性

书面文本中隐藏的结构模式在过去几十年中受到相当多的研究关注。特别是，将文本映射为句子长度的时间序列是探究文本结构的自然方式。通常句子长度通过基于词数与字符数的度量来量化，但其他变体亦有可能。为量化不同句子长度度量的鲁棒性，我们分析了一个含约五百本英文书的数据库。对每本书，我们提取了六种 distinct 的句子长度度量，包括词数与字符数（考虑词形还原与停用词去除）。我们通过以下方式对每本书的六种度量进行比较：i) 使用Pearson系数考察线性相关性；ii) 使用Kolmogorov–Smirnov检验比较分布；iii) 使用去趋势波动分析（DFA）量化自相关。我们发现所有六种度量表现出非常相似的行为，表明句子长度是关乎文本结构的鲁棒度量。