平滑 Rényi 熵的渐近展开及其应用
信息论
2020-03-13 v1 math.IT
摘要
本研究考虑了无条件平滑 Rényi 熵、由 Kuzuoka [IEEE Trans. Inf. Theory, vol. 66, no. 3, pp. 1674--1690, 2020] 提出的平滑条件 Rényi 熵，以及我们称之为条件平滑 Rényi 熵的一个新量。特别地，我们考察了当带有边信息的底层信源是平稳且无记忆时，这些熵的渐近展开。利用这些平滑 Rényi 熵，我们建立了若干信息论问题的一次性编码定理：Campbell 信源编码、猜测问题以及允许出错的任務编码问题。在每个问题中，我们考虑两种错误形式：平均错误准则与最大错误准则，其中平均与最大化是相对于信源的边信息进行的。将我们的渐近展开应用于所导出的一次性编码定理，我们推导了当这些问题的错误概率允许不趋于零时的各种渐近基本极限。我们表明，在非退化情形下，一阶基本极限在平均与最大错误准则下是不同的。这与本文作者先前考虑的另一种相关设定（允许出错的可变长条件信源编码）形成对比，在该设定中一阶项相同，但这些准则下的二阶项不同。
引用
@article{arxiv.2003.05545,
title = {Asymptotic Expansions of Smooth R\'{e}nyi Entropies and Their Applications},
author = {Yuta Sakai and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2003.05545},
year = {2020}
}
备注
56 pages, submitted to IEEE Transactions on Information Theory