滤波与压缩中涌现的复杂分布

在滤波过程中，每个输出由一定数量的不同输入产生。我们研究了一个可显式处理的滤波问题中这种简并性的统计特性，该问题中滤波对输入（由0和1组成的数组）中包含的相关信息进行最大压缩。该问题可作为滤波及相关采样问题统计特性的参考模型。该问题中的滤波模式便于进行微观的组合考虑，使我们能够找到任意输入规模下输出的统计特性，即输出简并度的精确分布。我们观察到，所得的输出简并度分布随简并度 $d$ 以 $e^{-c\log^\alpha \!d}$ 形式衰减，其中 $c$ 为常数，指数 $\alpha>1$，即衰减速度快于幂律。重要的是，其形式本质上依赖于输入数据集的规模，对于小数据集，该分布比大数据集更接近幂律依赖关系。我们证明，对于实证研究中典型的小输入数据集规模，该分布很容易被误认为是幂律。我们将结果推广到不同规模的滤波模式，并证明最短的滤波模式能提供输入的最大信息表征。