希尔伯格指数：过程中长记忆性的新度量

本文关注对平稳测度或通用码计算的互信息的幂律增长速率。这些速率被称为希尔伯格指数，并对每个测度和每个码定义了四个这样的量：两个随机指数和两个期望指数。一个特别有趣的情形出现在条件算法互信息中。在这种情况下，随机希尔伯格指数在遍历信源上几乎必然为常数，且受期望希尔伯格指数的约束。这一性质是香农-麦克米伦-布雷曼定理的一个“二阶”类比，其证明无需调用遍历定理。通过香农-范诺编码和巴伦不等式，该性质可传递到基础概率测度的希尔伯格指数上。此外，不同通用码的期望希尔伯格指数可以相互关联。即，如果一个码支配另一个码，则前者的期望希尔伯格指数大于后者。本文最后通过对某些信源（如混合伯努利过程和圣塔菲过程）的希尔伯格指数进行评估来作为总结。