闭环系统中涉及互信息与定向信息的基本不等式与恒等式
信息论
2013-01-29 v1 math.IT
摘要
我们提出了若干新的恒等式和不等式，用于关联具有反馈系统中的互信息与定向信息。此类系统内部的模块仅限于因果映射，但允许是非线性、随机且时变的。此外，所涉及的信号可以服从任意分布。我们将反馈回路内部信号间的定向信息以回路内外信号间的互信息进行界定。这一基本结果可被有趣地解释为信息流守恒定律。在此基础上，我们推导了若干新的恒等式和不等式，使我们能够在较宽松的假设下证明一些现有的信息不等式。最后，我们建立了反馈回路内嵌套定向信息之间的新关系。这为具有反馈的系统产生了一种新的通用数据处理不等式。
引用
@article{arxiv.1301.6427,
title = {Fundamental Inequalities and Identities Involving Mutual and Directed Informations in Closed-Loop Systems},
author = {Milan S. Derpich and Eduardo I. Silva and Jan Østergaard},
journal= {arXiv preprint arXiv:1301.6427},
year = {2013}
}
备注
Submitted to IEEE Trans. on Information Theory