通用概率的 Tsallis 熵与 Shannon 熵

我们从算法随机性的角度研究 Tsallis 熵和 Shannon 熵的性质。在算法信息论中，有两种等价的方法来定义给定有限二进制串 $s$ 的程序大小复杂度 $K(s)$。在标准方法中，$K(s)$ 定义为通用自定界图灵机输出 $s$ 的最短输入串的长度。在另一种方法中，首先引入所谓的通用概率 $m$，然后将 $K(s)$ 定义为 $-\log_2 m(s)$，而不引用程序大小的概念。在本文中，我们利用程序大小复杂度的概念，研究了通用概率的 Shannon 熵、幂和以及 Tsallis 熵的性质。我们确定了这三个量各自的收敛性或发散性，并在其收敛时评估其随机性程度。