迈向语用信息理论

标准信息论并未说明一条消息传递了多少意义。我们通过一个严格可论证的、定量的“语用信息”定义来填补这一空白，即消息中与特定决策相关的意义量。我们假定这样一条消息会更新一个为决策提供信息的随机变量 $\omega$。单条消息的语用信息则被定义为 $\omega$ 的先验概率与后验概率之间的 Kulbach-Leibler 散度；消息集合的语用信息是该集合中各组成消息语用信息的期望值。我们通过证明以下两点来论证这些定义：单条消息的语用信息是在先验和后验分布下 $\omega$ 的最短二进制编码之间的期望差值；当从集合中大量采样时，单个消息语用值的平均值趋近于其期望值。语用信息是非负的，并且对于独立决策和“语用独立”消息具有可加性。此外，语用信息是自由能的信息类比：正如自由能量化了系统总能量中可用于做有用功的部分，语用信息则量化了实际用于决策的信息。我们概述了三个应用： payout 概率未知的单次老虎机（又称“单臂强盗”）游戏；所谓的“准物种”模型中生物进化速率的刻画；以及金融学有效市场假说的重新表述。我们指出了每种情况下接收方计算能力的重要性。