预测信息
统计力学
2007-05-23 v1 无序系统与神经网络
神经元与认知
摘要
对过去的观察提供了一些关于未来发生情况的线索，这可以用信息论来定量化。本文所定义的“预测信息”与动力系统研究和数学统计学中提出的复杂度度量标准相联系。特别是，当观察到的数据流允许我们对产生该数据的动力学模型获得越来越精确的建模时，预测信息会发生发散，而这种发散的结构度量了模型的复杂度。我们认为，对预测信息的贡献提供了唯一符合某些合理要求的复杂度或丰富性度量标准。
引用
@article{arxiv.cond-mat/9902341,
title = {Predictive Information},
author = {William Bialek and Naftali Tishby},
journal= {arXiv preprint arXiv:cond-mat/9902341},
year = {2007}
}