中文

半鞅信道中的互信息、相对熵与估计误差

信息论 2017-04-19 v1 math.IT

摘要

信息与估计之间的基本关系已在文献中针对连续时间高斯和泊松信道建立,其漫长工作线分别始于Duncan和Kabanov的经典表示定理。在本工作中,我们证明此类关系对更大族的连续时间信道成立。我们引入半鞅信道族,其信道输出为半鞅随机过程,且信道输入调制该半鞅的特征。对于这些信道(包含连续时间高斯和泊松模型作为特例),我们建立新的表示,将信道输入与输出之间的互信息与最优因果滤波损失相关联,从而统一并大幅扩展了高斯和泊松环境下的结果。我们还给出了对失配估计情形的推广,其中在两种不同输入分布下支配信道输出的定律之间的相对熵,等于分别使用失配与最优因果滤波器所产生的估计损失的累积差。这些结果背后的主要工具是一类似然比上鞅的Doob--Meyer分解。本工作的结果可视为近期针对离散时间Lévy信道的信息与估计关系推广的连续时间类比。

关键词

引用

@article{arxiv.1704.05199,
  title  = {Mutual Information, Relative Entropy and Estimation Error in Semi-martingale Channels},
  author = {Jiantao Jiao and Kartik Venkat and Tsachy Weissman},
  journal= {arXiv preprint arXiv:1704.05199},
  year   = {2017}
}