从少量样本推断大系统的性质

当样本数量不足以可靠估计概率分布时，推断大随机系统某一性质的值是一项困难任务。该性质感兴趣的贝叶斯估计量需要先验分布的知识，而在许多情况下，应使用何种先验并不明确。迄今为止已发展出若干估计量，其所提先验是针对每个感兴趣的性质单独定制的；例如熵、互信息量或变量对之间的相关性就是这种情况。本文提出一个适用于任意性质的先验选择通用框架。我们首先证明，只有先验分布的某些方面实际影响推断过程。然后将所求先验展开为一维索引先验族的线性组合，其中每个先验通过具有所研究性质约束均值的最大熵方法获得。在许多感兴趣的情形中，展开式中仅一个或极少数分量对贝叶斯估计量有贡献，因此通常仅保留单一分量是有效的。相关分量由数据选定，故无需手工定制先验。我们用几个典型示例测试该近似的性能，表明其相对于文献中先前提出的特设方法表现良好。我们的方法凸显了贝叶斯推断与平衡统计力学之间的联系，因为可论证展开式中最相关的分量乃是具有正确温度的那一个。