有向信息的变分等式及其应用
信息论
2013-05-17 v2 math.IT
摘要
本文引入有向信息的两个变分等式,它们类似于 Blahut-Arimoto 算法 (BAA) 中所使用的互信息变分等式。随后,我们引入基于文献[1]中引入的有向信息定义的非预期率失真函数 (RDF) ,并证明其与 Gorbunov-Pinsker 非预期 -熵 的等价性。通过援引某些结果,我们首先证明了 的下确界再生分布的存在性,然后给出了平稳情形下的隐式形式。最后,我们利用其中一个变分等式以及最优再生分布的闭式表达式,给出了一种计算 的算法。
引用
@article{arxiv.1301.6520,
title = {Variational Equalities of Directed Information and Applications},
author = {Photios A. Stavrou and Charalambos D. Charalambous},
journal= {arXiv preprint arXiv:1301.6520},
year = {2013}
}
备注
5 pages, to appear in proceedings of International Symposium on Information Theory (ISIT), 2013