基于 Kolmogorov 复杂度的个体数据率失真与去噪

我们从 Kolmogorov 复杂度的视角考察失真球族的结构。我们特别关注一个源字的典型率失真函数,该函数返回在基数受限条件下所有包含该字的失真球的最小 Kolmogorov 复杂度。该典型率失真函数与给定失真度量下更标准的算法率失真函数相关。给出了表失真、汉明失真和欧氏失真的示例。算法率失真函数可能表现得与 Shannon 的率失真函数不同。为此,我们表明典型率失真函数能够且确实会呈现广泛的形状类别(不同于 Shannon 的);我们将低算法互信息与低 Kolmogorov 复杂度相关联(从而建议 Shannon 率失真函数的互信息表述的某些方面会与使用算法互信息的类似表述表现不同);我们探究了包含给定字的低 Kolmogorov 复杂度失真球捕获该字有趣属性的概念(这在 Shannon 理论中难以形式化),并由此提出一种去噪方法;最后,我们表明单个源字的率失真曲线的不同行为在源字上取平均后会在一定程度上消失。