信息与熵

什么是信息？它具有物理性吗？我们认为，在贝叶斯理论中，信息的概念必须根据其对理性主体信念的影响来定义。信息是对理性信念的约束，因此它是促使我们改变观念的驱动力。这种从先验概率分布更新到后验概率分布的问题，通过一种消除性归纳过程来解决，该过程唯一地确定对数相对熵作为推理的工具。由此产生的最大相对熵方法（ME）专为在给定任意约束形式的信息下从任意先验进行更新而设计，它将 MaxEnt（允许任意约束）和贝叶斯规则（允许任意先验）作为特例包含在内。因此，ME 将这些研讨会的两大主题——最大熵方法和贝叶斯方法——统一为一个单一的通用推理方案，使我们能够处理单独使用这两种方法中任何一种都无法解决的问题。最后，我给出了几个简单的说明性示例。