模型近似误差与期望熵距离的缩放
机器学习
2014-06-18 v2
摘要
我们计算了相对于概率单纯形上的规范先验，各种基础统计模型的 Kullback-Leibler 散度的期望值。我们获得了期望模型近似误差的闭式公式，这些公式取决于模型的维数及其样本空间的基数。对于均匀先验，从任何包含均匀分布的模型出发的期望散度以常数 为界；对于我们考虑的模型，当状态空间非常大且模型维数增长不过快时，该界会被趋近。对于 Dirichlet 先验，若集中参数取合理值，期望散度也以类似方式有界。这些结果可作为更复杂统计模型的参考值。
引用
@article{arxiv.1207.3399,
title = {Scaling of Model Approximation Errors and Expected Entropy Distances},
author = {Guido F. Montufar and Johannes Rauh},
journal= {arXiv preprint arXiv:1207.3399},
year = {2014}
}
备注
13 pages, 3 figures, WUPES'12