将信息推广至理性信念的演化
信息论
2020-01-17 v2 math.IT
机器学习
摘要
信息论为度量信念中的不确定性提供了数学基础。信念由概率分布表示，该分布刻画了我们对某一结果可信程度的理解。基于香农熵概念的信息度量包括实现信息、Kullback-Leibler 散度、Lindley 实验信息、交叉熵与互信息。我们从第一性原理推导出一种广义信息理论，该理论考虑了信念的演化并恢复了上述所有度量。在此理论中，信息并非简单地衡量不确定性，而是被理解为度量信念的变化。我们因而可将熵视为在离散潜随机变量实现时我们期望获得的信息。该信息理论与贝叶斯范式相容，其中理性信念随证据可用而更新。此外，该理论允许具有明确定义性质的新颖信息度量，我们在分析与实验中对此进行了探究。这种信息视角通过使我们能够量化预测模型所捕获的信息并将其与训练数据中残留的信息区分开来，从而阐明了机器学习的研究。我们获得了关于特征选择、异常检测和新颖贝叶斯方法的相关见解。
引用
@article{arxiv.1911.09559,
title = {Generalizing Information to the Evolution of Rational Belief},
author = {Jed A. Duersch and Thomas A. Catanach},
journal= {arXiv preprint arXiv:1911.09559},
year = {2020}
}