针对参数分布推断的几何化 Occam razor 形式
adap-org
2008-02-03 v1 bayes-an
适应与自组织系统
摘要
我定义了一种度量，称为模型族相对于给定真实分布的复杂度，称为模型族的“剃刀”。最小描述长度原理（MDL）和贝叶斯推断被展示为通过显著扩展现有贝叶斯模型选择渐近结果的分析来近似剃刀。我将参数族作为嵌入在分布空间中的流形，并通过诉诸假设检验的经典理论，推导出规范度量和参数流形上的度量。我发现 Fisher 信息是距离的自然度量，并为贝叶斯推断的 Jeffreys 先验选择提供了一种新颖的依据。本文的结果表明，MDL 对于数据量较小时的模型选择具有重要修正，这些修正被解释为模型族简单性的自然度量。我表明，在某种意义上，贝叶斯后验的对数收敛于此处定义的模型族“剃刀”的对数。与已知的密度估计和“信息几何”结果之间的密切联系被讨论。
引用
@article{arxiv.adap-org/9601001,
title = {A Geometric Formulation of Occam's Razor for Inference of Parametric Distributions},
author = {Vijay Balasubramanian},
journal= {arXiv preprint arXiv:adap-org/9601001},
year = {2008}
}
备注
35 pages, LaTeX, 2 PostScript figures