贝叶斯混合分布下的渐近最小极后悔

我们研究了数据压缩、赌博和预测序列 $x^n=x_1x_2...x_n$ 来自字母表 ${\cal X}$的问题，基于后悔和预期后悔（冗余）相对于各种光滑概率分布族。我们评估了贝叶斯混合分布的后悔与最大似然估计的比较，在最大似然估计位于参数空间内部的条件下。对于一般指数族（包括非 i.i.d. 情况），当使用 Jeffreys 先验的变体时，可达到渐近最小极后悔值。%在最大似然估计位于参数空间内部的条件下。有趣的是，我们还获得了 Jeffreys 先验的一个修改版本，该版本在给定密度族之外具有测度，以针对非指数类型族实现最小极后悔。该修改通过局部指数倾斜（纤维丛）来扩大族的范围。我们确认了这些条件对于某些非指数族的满足，包括曲线族和混合族（其中要么混合组件，要么其组合权重被参数化）以及污染模型。此外，对于混合族，我们展示了如何处理参数的整个单纯形。这些结果还提供了对 Rissanen 随机复杂度的表征。