统计推断、奥卡姆剃刀与概率分布空间上的统计力学

参数模型选择的任务被表述为概率分布空间上的统计力学问题。利用低温展开技术，我们得到了模型族贝叶斯后验概率的系统级数展开，该结果显著扩展了文献中已知的结论。特别是，我们精确理解了奥卡姆剃刀原理——即在数据证明更复杂模型合理之前应优先选择更简单模型——是如何被概率论自动体现的。这些结果需要模型参数空间上的一个测度，我们推导并讨论了将杰弗里斯先验分布解释为对由模型族索引的分布上的均匀先验。最后，我们推导了一个理论上的复杂度指标，用于衡量参数族相对于某个真实分布的复杂度，我们称之为模型的“剃刀”。剃刀的形式立即提出了学习理论中几个有趣的问题，这些问题可以使用统计力学技术进行研究。