简单取模运算可显著优于基于深度学习的 Deepcode
信息论
2020-08-06 v2 机器学习
math.IT
机器学习
摘要
Deepcode (H.Kim et al.2018) 是近期提出的一种基于深度学习的、针对带噪声反馈的 AWGN 信道通信方案，据称优于文献中所有先前的方案。Deepcode 使用非线性编码（通过深度学习）是受到线性反馈方案已知缺陷（Y.-H. Kim et al 2007）的启发。2014年，我们提出了一种基于经典 SK 方案与模运算相结合的非线性反馈编码方案，仅使用少量基本运算，无任何类型的神经网络。该 Modulo-SK 方案因使用了公共随机性（dither，抖动）而在 Deepcode 论文的性能比较中被遗漏，在后续版本中则因被错误解释为变长编码方案而遗漏。然而，Modulo-SK 中的抖动仅用于可处理的性能分析这一标准目的，实践中并不需要。在本短文中，我们展示完全确定性的 Modulo-SK（无抖动）可以优于 Deepcode。例如，在速率 1/3 下达到 10^(-4) 的错误概率，Modulo-SK 所需的反馈 SNR 比 Deepcode 低 3dB。在无噪声反馈下达到 10^(-6) 的错误概率，Deepcode 需要 150 轮通信，而 Modulo-SK 仅需 15 轮，即使反馈是有噪声的（27dB SNR）。我们进一步解决了 Deepcode 论文中报道的原始 SK 方案的数值稳定性问题，并解释如何避免。我们以在线可用的、功能完整的 Matlab 仿真补充了本报告，涵盖经典和 Modulo-SK 方案。最后请注意，Modulo-SK 绝不被声称是最佳可能方案；特别是，将深度学习与模运算结合可能带来更好的设计，并仍是未来研究的一个引人入胜的方向。
引用
@article{arxiv.2008.01686,
title = {Simple Modulo can Significantly Outperform Deep Learning-based Deepcode},
author = {Assaf Ben-Yishai and Ofer Shayevitz},
journal= {arXiv preprint arXiv:2008.01686},
year = {2020}
}
备注
Technical Report, 4 Pages, 3 Figures