恒定条件熵及相关假设
统计力学
2014-12-03 v2 计算与语言
信息论
math.IT
数据分析、统计与概率
摘要
恒定熵率（条件熵必须随序列长度增加而保持恒定）和均匀信息密度（条件概率必须随序列长度增加而保持恒定）是两项被认为支撑广泛语言现象的信息论原则。在此，我们结合关于语言中条件熵标度的 Hilberg 定律及相关定律，重新审视这些原则的预测。我们表明，恒定熵率 (CER) 以及对均匀信息密度 (UID) 的两种解释（完全 UID 和强 UID）均与这些定律不一致。强 UID 蕴含 CER，但反之不成立。作为 UID 特例的完全 UID 会导致代价高昂且不相关的序列，这完全不切实际。我们得出结论，CER 及其特例是关于条件熵标度的不完整假设。
引用
@article{arxiv.1304.7359,
title = {Constant conditional entropy and related hypotheses},
author = {Ramon Ferrer-i-Cancho and Łukasz Dębowski and Fermín Moscoso del Prado Martín},
journal= {arXiv preprint arXiv:1304.7359},
year = {2014}
}
备注
introduction improved; typos corrected