Entropic严格最小消息长度及其与PAC-Bayes和NML的联系

我们引入了熵敏严格最小消息长度（entropic SMML），作为严格最小消息长度编码的一个风险敏感推广。该标准将先验预测分布下的期望两部分编码长度替换为指数确定性等价物，从而定义了一个一参数的编码规则族，在贝叶斯平均情况编码和最坏情况 minimax 编码之间进行插值。我们证明，在风险中性极限下恢复普通 SMML，而在极端风险敏感极限下则得到一个minimax编码准则;当以 oracle 最大似然编码长度为中心时，该准则与归一化最大似然（NML）minimax-regret 原理一致。我们进一步证明，熵敏 SMML 可作为 KL 正则化最坏情况期望编码长度的变分特征，给出其 PAC-Bayes 类型解释。我们建立了样本量 $n$ 与风险参数 $\tau$ 的联合渐近理论，表明在正规参数模型中，贝叶斯、鲁棒和 minimax 编码范式之间的转变发生在对数尺度上。对于正规指数族，固定码本分区在充分统计量空间中保持仿射，而码点满足倾斜矩匹配条件，可解释为倾斜 Bregman 质心。这些结果将熵敏 SMML 定位为 MML、PAC-Bayes 和 MDL 之间的信息论桥梁。