最大熵与贝叶斯数据分析：熵先验

如何分配能够客观反映实验可用先验信息的概率分布，是使用贝叶斯数据分析方法的主要障碍之一。本文使用最大（相对）熵（ME）方法，将似然函数已知形式中包含的信息转化为用于贝叶斯推断的先验分布。这一论证受到统计力学中ME方法成功应用所获得的直觉的启发和指导。对于不可重复的实验，由此产生的“熵先验”在形式上与爱因斯坦涨落公式相同。然而，对于可重复的实验，似然函数熵的期望值被证明是必须包含在分析中的相关信息。我们详细处理了高斯似然函数这一重要情况。