语言分布的熵估计

香农熵常是研究人类语言交际能力的语言学家所关注的一个量。然而，由于研究者无法获知产生这些数据的底层概率分布，熵通常必须从观测数据中估计。尽管熵估计在其他领域是一个被充分研究的问题，但对于语言数据而言，熵估计量的有效性尚未得到全面探讨。本工作中，我们填补了这一空白，研究了不同熵估计量对语言分布的经验有效性。在两项近期信息论语言学研究的复现中，我们发现由于过度依赖不佳的熵估计量，所报告效应量被高估的证据。最后，我们根据分布类型和数据可用性，给出了关于熵估计的具体建议。