轮廓熵：离散分布可学习性与可压缩性的基本度量
机器学习
2020-02-27 v1 信息论
机器学习
math.IT
统计理论
统计理论
摘要
样本的轮廓是其符号频率的多重集。我们表明，对于离散分布的样本，轮廓熵是统一估计、推断和压缩概念的基本度量。具体而言，轮廓熵 a) 决定了相对于最佳自然估计器估计分布的速度；b) 刻画了相较于任意标签不变分布集合上的最佳估计器推断所有对称属性的速率；c) 作为轮廓压缩的极限，为此我们推导了最优近线性时间分块与顺序算法。为增进对轮廓熵的理解，我们研究其属性，提供近似其值的算法，并确定其在众多结构分布族中的量级。
引用
@article{arxiv.2002.11665,
title = {Profile Entropy: A Fundamental Measure for the Learnability and Compressibility of Discrete Distributions},
author = {Yi Hao and Alon Orlitsky},
journal= {arXiv preprint arXiv:2002.11665},
year = {2020}
}
备注
56 pages