从有信息数据中学习你的熵：确保广义熵一致识别的一条公理
数据分析、统计与概率
2026-04-20 v1 统计理论
统计方法学
统计理论
摘要
香农熵是信息论、统计物理和推断方法的基石，由Shannon-Khinchin或Shore-Johnson公理唯一确定。受非广延或非遍历系统研究的推动，香农熵的推广形式放宽了其中一些公理，并导致了由特定“熵参数”索引的熵族。通常，这些参数的选择需要系统的先验知识，或会遇到不一致性。在此，我们为任何熵族引入一条简单公理：即，没有任何熵参数可以从完全无信息（均匀）的概率分布中推断出来。当应用于Uffink-Jizba-Korbel和Hanel-Thurner熵时，该公理仅选择Rényi熵作为可行的。它还扩展了与最大似然原理的一致性，进而可将该原理推广以纯粹从数据中估计熵参数，我们通过数值计算证实了这一点。值得注意的是，在广义最大熵框架中，该公理意味着最大化的对数似然总是等于负的香农熵，即使推断出的概率分布最大化的是广义熵而非香农熵，这解决了先前方法中遇到的一系列问题。
引用
@article{arxiv.2301.05660,
title = {Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies},
author = {Andrea Somazzi and Diego Garlaschelli},
journal= {arXiv preprint arXiv:2301.05660},
year = {2026}
}