Kolmogorov算法互信息等价于贝叶斯定律
信息论
2019-07-08 v1 math.IT
摘要
给定两个事件和,贝叶斯定律基于如下论证:在条件下的概率与在条件下的概率成正比。当概率按贝叶斯意义解释时,贝叶斯定律构成一种学习算法,展示了如何从一个新观测中学习,以改进对与该观测一致的理论的信念。Kolmogorov基于算法理论的算法信息概念,提出了有限字符串自身信息量的客观度量,并得出结论:对于任意两个有限字符串和,关于的信息量几乎等于关于的信息量。我们将Kolmogorov的这一结论视为贝叶斯定律的算法信息版本。若考虑Levin关于前缀Kolmogorov复杂性的工作,并利用Solomonoff先验概率表达两个有限字符串间的Kolmogorov互信息量,便可轻易证明这一点。
引用
@article{arxiv.1907.02943,
title = {Kolmogorov's Algorithmic Mutual Information Is Equivalent to Bayes' Law},
author = {Fouad B. Chedid},
journal= {arXiv preprint arXiv:1907.02943},
year = {2019}
}
备注
8 pages