含反馈系统的有向数据处理不等式
信息论
2021-05-12 v1 math.IT
摘要
我们提出关联含反馈系统中互信息与有向信息的若干新数据处理不等式。此类系统的内部模块仅受限为因果映射，但可为非线性、随机与时变。这些模块可表示信源编码器、解码器甚至通信信道。此外，所涉及信号可为任意分布。我们的第一个主要结果关联互信息与有向信息，可解释为信息流守恒律。第二个主要结果是一对有向数据处理不等式（其一为另一的条件版本），适用于闭环内嵌套随机序列对。第三个主要结果引入并刻画了环路内（ITL）传输速率的概念，用于消息位于环路内部的信道编码场景。有趣的是，此情形下与消息熵相关的传统传输速率概念，以及基于最大化消息与输出间互信息的信道容量概念，均被证明是不充分的。相反，如我们所证，ITL 传输速率是唯一一种速率概念：信道码达到零错误概率，当且仅当该 ITL 速率不超过从消息到解码消息的对应有向信息速率。我们应用数据处理不等式证明，可达（按通常信道编码意义）ITL 传输速率的上确界由通信信道上有向信息速率的上确界所界。此外，我们给出一个该上界被取等的例子。最后，……
引用
@article{arxiv.2103.13591,
title = {Directed Data-Processing Inequalities for Systems with Feedback},
author = {Milan S. Derpich and Jan Østergaard},
journal= {arXiv preprint arXiv:2103.13591},
year = {2021}
}
备注
Submitted to Entropy. arXiv admin note: substantial text overlap with arXiv:1301.6427