估计定义在未知大小空间上的分布函数

我们考虑使用 Dirichlet 先验从数据中贝叶斯估计信息论量。承认事件空间大小 $m$ 和 Dirichlet 先验的浓度参数 $c$ 的不确定性，我们将两者都视为由超先验设定的随机变量。我们表明，相关的超先验 $P(c, m)$ 当且仅当 $P(c, m) = P(c) P(m)$ 时，才满足简单的“未见变量无关性”（IUV）要求。因此，要求 IUV 极大地减少了超先验的自由度数。一些信息论量可以用不同的事件空间以多种方式表达，例如互信息。对于早期工作中（隐式）使用的所有超先验，事件空间的不同选择会导致这些信息论量的后验期望值不同。我们表明，对于遵守 IUV 的超先验，不存在这种对事件空间选择的依赖性。我们还推导了一个结果，允许我们利用 IUV 极大地简化计算，如后验期望互信息或后验期望多信息。我们还使用计算机实验，将基于 IUV 的熵估计器与三种常用替代方法进行了有利比较。最后，我们讨论了看似无害的估计问题形式化变化如何实质性地影响后验期望的 resultant 估计值。