带约束的和的最大熵及其信道容量应用
最优化与控制
2016-02-04 v1
摘要
我们研究在将每个输入X指派为和X+N的系统的输出处可达成的最大微分熵，其中N为给定噪声，其概率律关于Lebesgue测度绝对连续，且允许输入与噪声相关。我们考虑输入中相当一般的平均代价约束以及幅度约束。研究表明，相应的优化搜索可在输入与噪声的联合分布上执行，这些联合分布集中于由关联噪声-输入平面中充分正则函数的图所表示的低维几何对象上。随后将结果应用于相应刻画独立输入与噪声的情况，从而提供信道容量的界。我们还提供了可达界及关联容量可达输入分布的分析。针对此类系统以及独立输入与噪声情况，给出了输出处最大可达熵存在的通用条件，从而建立了容量可达的条件。此类容量可达输入分布的律也被唯一指定。还提供了一种对容量的通用近似方案，表明在非可达情况下，相应噪声可写为一系列噪声随机变量的极限，这些变量关联的信道是容量可达的，且其容量收敛于原始信道的容量。我们还探讨了此输入与噪声相关设置的结果与反馈容量概念之间的关系。
引用
@article{arxiv.1602.01140,
title = {On the Maximum Entropy of a Sum with Constraints and Channel Capacity Applications},
author = {Francisco J. Piera},
journal= {arXiv preprint arXiv:1602.01140},
year = {2016}
}