高维有限字母表上离散熵的最优一致集中不等式

我们证明了一个指数衰减集中不等式，用于界定有限字母表上离散随机变量的对数似然与负熵之间差异的尾部概率。我们推导的集中界对所有参数值一致成立。这一新结果改进了 Zhao (2020) 早期结果中的收敛速率，从 $(K^2\log K)/n=o(1)$ 改进为 $(\log K)^2/n=o(1)$，其中 $n$ 是样本量，$K$ 是字母表大小。我们进一步证明了速率 $(\log K)^2/n=o(1)$ 是最优的。结果被扩展到分组随机变量的错误指定对数似然。我们给出了新结果在信息论中的应用。