de Bruijn 恒等式向一般 φ-熵与 φ-Fisher 信息的推广
信息论
2016-11-30 v1 math.IT
摘要
在本文中，我们基于 Shannon 熵、Fisher 信息及其关联散度或相对测度的扩展，提出了 de Bruijn 恒等式的推广。这些推广的基础是 Csiszár 类（或 Salicrú 类）的 φ-熵和散度，它们在包括一维情况的多维背景下被考虑，并适用于由比众所周知的高斯噪声更一般的概率分布所表征的多种噪声信道类型。研究发现，这些熵或散度关于噪声参数的梯度和/或 Hessian 矩阵自然地产生了 Fisher 信息或散度的推广版本，我们将其命名为 φ-Fisher 信息（散度）。所得到的恒等式可被视为经典 de Bruijn 恒等式的进一步扩展。类似地，我们证明，对于高斯信道，φ-散度与一种扩展的均方误差（称为 φ-均方误差）之间也存在类似的关系。
引用
@article{arxiv.1611.09400,
title = {Generalization of the de Bruijn's identity to general $\phi$-entropies and $\phi$-Fisher informations},
author = {Irene Valero Toranzo and Steeve Zozor and Jean-Marc Brossier},
journal= {arXiv preprint arXiv:1611.09400},
year = {2016}
}