连续空间上有向信息的神经估计与优化
信息论
2022-03-29 v1 math.IT
摘要
本文提出了一种估计并优化两个联合平稳且遍历随机过程之间有向信息率的新方法。基于机器学习的最新进展，我们提出了一种基于循环神经网络（RNN）的估计器，其通过关于 RNN 参数的梯度上升进行优化。该估计器不需要底层联合与边缘分布的先验知识。该估计器也可通过深度生成模型实现的连续输入过程轻松优化。我们证明了所提估计与优化方法的一致性，并将二者结合以获得端到端的性能保证。探讨了在具有记忆的连续信道容量估计中的应用，并给出了证明该方法可扩展性与准确性的实证结果。当信道无记忆时，我们研究了经优化的输入生成器所学到的映射。
引用
@article{arxiv.2203.14743,
title = {Neural Estimation and Optimization of Directed Information over Continuous Spaces},
author = {Dor Tsur and Ziv Aharoni and Ziv Goldfeld and Haim Permuter},
journal= {arXiv preprint arXiv:2203.14743},
year = {2022}
}
备注
38 pages, 6 figures