神经容量估计器：它们有多可靠？
信息论
2022-03-22 v4 机器学习
信号处理
math.IT
摘要
近来，提出了若干使用深度神经网络从样本数据估计互信息且无需知晓数据闭式分布的方法。这类估计器被称为神经互信息估计器。尽管很有前景，此类技术尚未被严格基准测试以确立其在容量估计（一种联合最大化框架）中的功效、易实现性与稳定性。本文中，我们比较文献中提出的用于估计容量的不同技术，并从实践者角度提供其有效性的见解。特别地，我们研究了互信息神经估计器（MINE）、平滑互信息下界估计器（SMILE）和有向信息神经估计器（DINE）的性能，并对InfoNCE提供洞见。我们在AWGN信道、光强度信道和峰值功率受限AWGN信道下，依据这些算法学习逼近容量的输入分布的能力对其进行评估。对两种场景，我们就训练过程的各方面（如稳定性、对初始化的敏感性）提供了富有见地的评论。
引用
@article{arxiv.2111.07401,
title = {Neural Capacity Estimators: How Reliable Are They?},
author = {Farhad Mirkarimi and Stefano Rini and Nariman Farsad},
journal= {arXiv preprint arXiv:2111.07401},
year = {2022}
}
备注
7 pages, accepted for publication at the 2022 IEEE International Conference on Communications (ICC)