一种用于香农熵全局评估与算法复杂度局部估计的分解方法

我们研究了一种块分解方法（BDM）的性质，该方法扩展了编码定理方法（CTM）的能力，CTM 基于 Solomonoff-Levin 的算法概率理论来近似算法复杂度的局部估计，与以往基于统计规律（例如一些流行的无损压缩方案所发现的）的尝试相比，它提供了与算法复杂度更紧密的联系。BDM 背后的策略是寻找产生一个较大、被分解对象的组成部分的小型计算机程序。然后可以巧妙地将这组短计算机程序按顺序排列，以产生原始对象，并估计产生该原始对象的最短计算机程序长度的上界。我们表明，该方法提供了算法复杂度的有效估计，但当其失去准确性时，其表现类似于香农熵。我们估计了误差，并研究了 BDM 在不同边界条件下的行为，所有这些都进行了详细的比较和评估。该度量可适用于比字符串更多维的对象，例如数组和张量。为了测试该度量，我们展示了 CTM 在低算法随机性对象上的能力，这些对象被赋予了最大熵（例如 $\pi$），但其数值近似更接近理论上的低算法随机性期望。我们还在已知算法随机性较低的大型对象上测试了该度量，包括对偶图、同构图和同谱图。我们还发布了该方法在大多数主流编程语言中的实现——Wolfram 语言（Mathematica）、Matlab、R、Perl、Python、Pascal、C++ 和 Haskell——以及一个免费的在线算法复杂度计算器。