组合信息论：I. 交叉熵与熵的哲学基础
统计力学
2007-07-13 v5 信息论
数学物理
math.IT
math.MP
数据分析、统计与概率
摘要
本研究批判性地分析了熵和交叉熵概念的信息论、公理化和组合哲学基础。组合基础被证明是这三个基础中最基本（最原始）的，因为它给出了 (i) Kullback-Leibler 交叉熵和 Shannon 熵函数作为多项式分布在 Stirling 近似下的简化形式的推导；(ii) 对需要最大化熵（或最小化交叉熵）以找到最可能实现的解释；以及 (iii) 新的、广义的熵和交叉熵定义——Boltzmann 原理的超集——适用于非多项式系统。因此，组合基础比信息论和公理化基础具有更广泛的适用范围和更强的应用能力。广义定义支撑了一门新学科“组合信息论”，用于分析任何类型的概率系统。我们根据组合方法重新审视了 Jaynes 对多项式系统统计力学的通用表述。(摘要缩写)
引用
@article{arxiv.cond-mat/0512017,
title = {Combinatorial Information Theory: I. Philosophical Basis of Cross-Entropy and Entropy},
author = {Robert K. Niven},
journal= {arXiv preprint arXiv:cond-mat/0512017},
year = {2007}
}
备注
45 pp; 1 figure; REVTex; updated version 5 (incremental changes)