结构还是噪声？

我们展示了率失真理论如何通过自然区分规律性与随机性，为自动理论构建提供一种机制。我们从这样一个简单原则出发：模型变量应尽可能使未来与过去条件独立。基于此，我们构建了一个用于模型制作的客观函数，其极值体现了模型结构复杂性与预测能力之间的权衡。解对应于一个模型层级，在每一层复杂度下，都能以最小成本实现最优预测能力。在最大预测的极限情况下，所得最优模型通过提取底层因果态来识别过程的内在组织。在此极限下，模型的复杂度由统计复杂度给出，已知该复杂度是实现最大预测所需的最小值。实例表明，通过分析过程的因果可压缩性（反映在最优模型的率失真曲线中，即过程在不同表征层次上最优平衡结构与噪声的特征），理论构建可从中获益。