大字母表 Ising 信道反馈容量的强化学习评估与求解
信息论
2020-08-19 v1 math.IT
摘要
我们提出一种利用强化学习（RL）计算具有记忆的单字母有限状态信道（FSCs）反馈容量的新方法。反馈容量此前通过其作为马尔可夫决策过程（MDP）并用动态规划（DP）算法公式化来估计。然而，其计算复杂度随信道字母表大小呈指数增长。因此，我们使用 RL，特别是其用神经网络参数化值函数与策略的能力，来数值评估大字母表大小信道的反馈容量。RL 算法的输出是反馈容量的数值下界，用于揭示最优解的结构。该结构由基于图的辅助随机变量建模，并用于通过对偶界推导反馈容量的解析上界。通过检验上界是否满足 BCJR 不变性来验证其紧性，从而完成容量计算。我们在任意字母表大小的 Ising 信道上演示了该方法。对于字母表大小小于或等于 8 的情况，我们推导了容量的解析解。接下来，利用数值解的结构推导出达到反馈容量的简单编码方案，并作为更大字母表的下界。对于字母表大小大于 8 的情况，我们给出了反馈容量的上界。对于渐近大字母表大小，我们给出了渐近最优编码方案。
引用
@article{arxiv.2008.07983,
title = {Reinforcement Learning Evaluation and Solution for the Feedback Capacity of the Ising Channel with Large Alphabet},
author = {Ziv Aharoni and Oron Sabag and Haim Henri Permuter},
journal= {arXiv preprint arXiv:2008.07983},
year = {2020}
}