中文

Kolmogorov算法互信息等价于贝叶斯定律

信息论 2019-07-08 v1 math.IT

摘要

给定两个事件AABB,贝叶斯定律基于如下论证:在BB条件下AA的概率与在AA条件下BB的概率成正比。当概率按贝叶斯意义解释时,贝叶斯定律构成一种学习算法,展示了如何从一个新观测中学习,以改进对与该观测一致的理论的信念。Kolmogorov基于算法理论的算法信息概念,提出了有限字符串自身信息量的客观度量,并得出结论:对于任意两个有限字符串xxyyxx关于yy的信息量几乎等于yy关于xx的信息量。我们将Kolmogorov的这一结论视为贝叶斯定律的算法信息版本。若考虑Levin关于前缀Kolmogorov复杂性的工作,并利用Solomonoff先验概率表达两个有限字符串间的Kolmogorov互信息量,便可轻易证明这一点。

关键词

引用

@article{arxiv.1907.02943,
  title  = {Kolmogorov's Algorithmic Mutual Information Is Equivalent to Bayes' Law},
  author = {Fouad B. Chedid},
  journal= {arXiv preprint arXiv:1907.02943},
  year   = {2019}
}

备注

8 pages