互信息测量的形式化局限
信息论
2020-05-21 v4 机器学习
math.IT
机器学习
摘要
从有限数据测量互信息是困难的。近期工作考虑了最大化下界的变分方法。在本文中，我们证明任何互信息测量方法都固有严重的统计局限。更具体地，我们表明，从 N 个样本估计的任意无分布高置信下界不可能大于 O(ln N)。
引用
@article{arxiv.1811.04251,
title = {Formal Limitations on the Measurement of Mutual Information},
author = {David McAllester and Karl Stratos},
journal= {arXiv preprint arXiv:1811.04251},
year = {2020}
}