中文

有向信息的变分等式及其应用

信息论 2013-05-17 v2 math.IT

摘要

本文引入有向信息的两个变分等式,它们类似于 Blahut-Arimoto 算法 (BAA) 中所使用的互信息变分等式。随后,我们引入基于文献[1]中引入的有向信息定义的非预期率失真函数 (RDF) R0,nna(D){R}^{na}_{0,n}(D),并证明其与 Gorbunov-Pinsker 非预期 ϵ\epsilon-熵 R0,nε(D)R^{\varepsilon}_{0,n}(D) 的等价性。通过援引某些结果,我们首先证明了 R0,nna(D){R}^{na}_{0,n}(D) 的下确界再生分布的存在性,然后给出了平稳情形下的隐式形式。最后,我们利用其中一个变分等式以及最优再生分布的闭式表达式,给出了一种计算 R0,nna(D){R}^{na}_{0,n}(D) 的算法。

关键词

引用

@article{arxiv.1301.6520,
  title  = {Variational Equalities of Directed Information and Applications},
  author = {Photios A. Stavrou and Charalambos D. Charalambous},
  journal= {arXiv preprint arXiv:1301.6520},
  year   = {2013}
}

备注

5 pages, to appear in proceedings of International Symposium on Information Theory (ISIT), 2013