隐马尔可夫模型 Rényi 熵的解析公式
信息论
2017-09-29 v1 math.IT
摘要
确定随机过程的熵率是一个基础且困难的问题，目前仅在特定情况下有闭式解。本文通过解决隐马尔可夫模型和 Rényi 熵的该问题，推进了现有技术水平。虽然马尔可夫链的问题可归结为研究矩阵乘积的增长，但 HMM 的计算涉及随机矩阵的乘积。因此，这种情况要困难得多，且迄今为止尚无显式公式。我们展示了如何绕过整数阶 Rényi 熵的这一难题，将问题再次归结为单一矩阵乘积，其中该矩阵由转移概率和发射概率通过张量积构成。为了获得渐近情形下的结果，我们使用了一种确定非负矩阵幂次增长的新技术。经典方法是 Frobenius-Perron 理论，但它需要正定性假设；我们转而直接使用谱公式。因此，我们的结果不受不可约性和非周期性等限制的影响。这加深了我们对熵率的理解，甚至对于标准（非隐）马尔可夫链也是如此。最近发表的一种针对 RSA 的侧信道攻击已利用我们特化为 2 阶的结果被证明有效。
引用
@article{arxiv.1709.09699,
title = {Analytic Formulas for Renyi Entropy of Hidden Markov Models},
author = {Joachim Breitner and Maciej Skorski},
journal= {arXiv preprint arXiv:1709.09699},
year = {2017}
}