可预测性、复杂性与学习

我们将{\em 预测信息} $I_{\rm pred} (T)$ 定义为时间序列过去与未来之间的互信息。在大观测时间$T$的极限下，发现了三种定性不同的行为：$I_{\rm pred} (T)$ 可以保持有限、对数增长或分数幂律增长。如果时间序列允许我们学习一个具有有限参数数量的模型，那么$I_{\rm pred} (T)$ 以对数方式增长，其系数计算模型空间的维数。相反，幂律增长与无限参数（或非参数）模型的学习相关，例如具有平滑性约束的连续函数。预测信息与学习理论以及通过统计力学和动力系统理论分析物理系统时定义的复杂性度量之间存在联系。此外，正如熵提供了与一些简单且合理条件一致的可用信息的唯一度量一样，我们认为$I_{\rm pred} (T)$ 的发散部分为时间序列底层动力学的复杂性提供了唯一度量。最后，我们讨论了这些想法如何在物理、统计和生物学的不同问题中发挥作用。