统计估计器的收敛性：基于互信息界限
机器学习
2025-08-18 v2 机器学习
统计理论
统计理论
摘要
最近的统计学习理论进展揭示了互信息（MI）界限、PAC-贝叶斯理论和贝叶斯非参数主义之间深刻的联系。本文引入一种新型互信息界限，用于统计模型。导出的界限在统计推断中具有广泛应用。它可提高贝叶斯非参数主义中分数后验的收缩速率。还可用于研究各种估计方法，如变分推断或最大似然估计（MLE）。通过连接这些多样化领域，本工作拓展了我们对统计推断基本极限以及信息在数据学习中作用的理解。我们希望这些结果不仅能澄清统计推断与信息论之间的联系，还能帮助开发一种新工具来研究各种估计器。
引用
@article{arxiv.2412.18539,
title = {Convergence of Statistical Estimators via Mutual Information Bounds},
author = {El Mahdi Khribch and Pierre Alquier},
journal= {arXiv preprint arXiv:2412.18539},
year = {2025}
}