迈向四字母词的统计力学
神经元与认知
2025-02-13 v1 计算与语言
数据分析、统计与概率
物理与社会
摘要
我们将单词视为相互作用的字母网络，并近似该网络所取状态的概率分布。尽管直觉认为英语拼写规则具有高度组合性（且任意），但我们发现，与字母间成对相关性一致的最大熵模型，能为四字母词的全统计量提供令人惊讶的良好近似，捕捉了字母间约 92% 的多重信息，甚至“发现”了在用于估计成对相关性的数据中未出现的真实单词。最大熵模型在可能的单词空间上定义了一个能量景观，该景观中的局部极小值解释了书面英语中近三分之二的单词。
引用
@article{arxiv.0801.0253,
title = {Toward a statistical mechanics of four letter words},
author = {Greg J. Stephens and William Bialek},
journal= {arXiv preprint arXiv:0801.0253},
year = {2025}
}