惩罚似然的信息论及其统计推论
统计理论
2015-05-08 v3 统计理论
摘要
我们扩展了数据压缩中的两阶段编码过程与统计估计中的惩罚似然过程之间的对应关系。传统上，这要求限制在可数参数空间内。我们展示了如何将这种对应关系推广到不可数参数的情形。利用惩罚似然过程的描述长度解释，我们设计了新技术来推导此类过程的自适应风险界。我们表明，参数空间存在某些可数覆盖意味着自适应风险界的存在，因此我们的理论具有相当的一般性。我们应用这些技术来说明 型惩罚过程在典型高维统计问题（如线性回归和高斯图模型）中的风险界。在线性回归问题中，我们还展示了传统的 惩罚乘以 加上低阶项具有两阶段描述长度解释，并给出了该惩罚似然过程的风险界。
引用
@article{arxiv.1401.6714,
title = {Information Theory of Penalized Likelihoods and its Statistical Implications},
author = {Sabyasachi Chatterjee and Andrew Barron},
journal= {arXiv preprint arXiv:1401.6714},
year = {2015}
}