乌克兰语的熵

在自然语言处理中，语言的熵是衡量其不可预测性和复杂性的指标。关于这一主题的首项研究由克劳德·香农于 1951 年进行。通过让参与者预测句子中的下一个字符，他得以近似估算英语的熵。此后，其他作者针对英语进行了若干后续研究，并有一项针对希伯来语的研究。然而，迄今为止，香农的实验从未在乌克兰语上进行过。本文中，我们通过社交媒体渠道招募了 184 名志愿者，对乌克兰语实施了该实验。我们借鉴用于英语的技术来近似估算乌克兰语的熵值。最终结果是一个上界 $H_{upper}\approx1.201$ 比特每字符。我们将此结果与当前大型语言模型的性能进行了比较。所使用的方法和代码也一并记录并发布，同时讨论了遇到的主要挑战。