泊松信道中的互信息、相对熵与估计

设 $X$ 为非负随机变量，给定 $X$ 时随机变量 $Y$ 的条件分布为参数 $\gamma \geq 0$ 的 ${Poisson}(\gamma \cdot X)$。我们确定了一个自然损失函数，使得：1) $X$ 与 $Y$ 之间的互信息关于 $\gamma$ 的导数等于基于 $Y$ 估计 $X$ 的 \emph{最小}平均损失，无论 $X$ 的分布如何。2) 当基于 $Y$ 通过一个失配估计器（该估计器在 $X \sim Q$ 时本应最小化期望损失）估计 $X \sim P$ 时，所有 $\gamma$ 值上超额平均损失的积分等于 $P$ 与 $Q$ 之间的相对熵。对于连续时间设定，其中 $X^T = \{X_t, 0 \leq t \leq T \}$ 是一个非负随机过程，且给定 $X^T$ 时 $Y^T=\{Y_t, 0\le t\le T\}$ 的条件分布是强度函数为 $\gamma \cdot X^T$ 的非齐次泊松过程，在相同损失函数下：1) 当 $\gamma = \gamma_0$ 时，\emph{因果}滤波的最小平均损失等于通过参数 $\gamma$ 在 $0$ 到 $\gamma_0$ 之间均匀分布的信道实现的 \emph{非因果}滤波（平滑）最小平均损失的期望值。连接这两个量的是 $X^T$ 与 $Y^T$ 之间的互信息。2) 因果与非因果滤波平均损失之间的这种关系也适用于所用滤波器失配的情况，即滤波器基于 $X^T$ 上的一个非真实分布进行优化。此时连接这两个量的是互信息与 $Y^T$ 真实分布和失配分布之间相对熵之和。因此，相对熵量化了该设定中因失配导致的超额估计损失。这些结果与近期在高斯信道中发现的结果类似。