经验相对熵围绕其均值的有限样本集中性

在本笔记中，我们证明，从大小为 $k$ 的集合中抽取的 $n$ 个样本的经验分布相对于真实底层分布的相对熵，在其期望周围呈指数集中，其中心矩生成函数以形状参数为 $2k$、速率参数为 $n/2$ 的伽马分布为界。这改进了 Bhatt 和 Pensia（arXiv 2021）在同一问题上的近期工作，他们展示了类似的界限，但在形状参数中多了一个 $k$ 的多对数因子，同时也证实了 Mardia 等人（Information and Inference 2020）最近的一个猜想。证明过程通过将多项分布的 $k>3$ 情形归约为更简单的二项分布的 $k=2$ 情形，对于后者，所需的界限可由二项分布集中性的标准结果得出。