神经容量估计的视角：可行性与可靠性
信息论
2022-10-06 v2 机器学习
信号处理
math.IT
摘要
近来，已有若干利用深度神经网络从样本数据估计互信息的方法被提出。这些估计器被称为神经互信息估计(NMIE)。NMIE与其他方法的不同之处在于它们是数据驱动的估计器。因此，它们有潜力在大量容量问题上表现良好。为检验各类NMIE的性能，亟需建立一个涵盖容量估计不同挑战的基准。本文目标即在于此。具体而言，我们考虑三种基准场景：i 经典AWGN信道，ii 连续输入光强与峰值功率受限AWGN信道，iii 离散输出信道即泊松信道。我们还考虑向多端情形的扩展，即 iv AWGN与光MAC模型。我们认为，跨这四种场景对特定NMIE进行基准测试可构成对其性能的实质性检验。本文研究了互信息神经估计器(MINE)、平滑互信息下界估计器(SMILE)与有向信息神经估计器(DINE)的性能，并对其他方法的性能提供见解。总结基准结果：MINE提供了最可靠的性能。
引用
@article{arxiv.2203.11793,
title = {A Perspective on Neural Capacity Estimation: Viability and Reliability},
author = {Farhad Mirkarimi and Stefano Rini and Nariman Farsad},
journal= {arXiv preprint arXiv:2203.11793},
year = {2022}
}
备注
33 pages, 9 figures, under revison for possible journal publication