网络编码的热力学,及最大熵原理的一种算法精细化
信息论
2019-06-26 v3 math.IT
摘要
最大熵原理(Maxent)常被用于获取先验概率分布,作为在某些约束下获得 Gibbs 测度的方法,给出系统处于某一状态相对于分布中其余元素的概率。由于基于经典熵的 Maxent 混淆了所有不同的随机性与伪随机性情形,此处我们考虑集合中系统的生成机制,以分离在某种约束下符合该原理且熵最大但可由递归生成的那些对象,与那些实际为算法随机的对象,从而对经典 Maxent 提供精细化。我们利用因果算法演算,基于重编一段计算机代码的难度推导出一个类热力学结果。利用可计算随机性与算法随机性之间的区分,我们量化了与重编程相关的信息损失代价。为说明这一点,我们将算法精细化应用于图上的 Maxent,并引入最大算法随机优先连接(MARPA)算法,作为对先前方法的推广。我们讨论了网络随机性评估的实际含义。我们的分析提供的洞见在于,重可编程性不对称似乎源于与算法概率的非单调关系。我们的分析激励了对上述不对称、重可编程性与计算之起源及后果的进一步分析。
引用
@article{arxiv.1805.07166,
title = {The Thermodynamics of Network Coding, and an Algorithmic Refinement of the Principle of Maximum Entropy},
author = {Hector Zenil and Narsis A. Kiani and Jesper Tegnér},
journal= {arXiv preprint arXiv:1805.07166},
year = {2019}
}
备注
30 pages