基于映射方法的信道限额神经估计
信息论
2025-07-29 v1 math.IT
摘要
信道限额(IB)方法是一种旨在从另一个随机变量中提取与其相关的有意义信息的技术，已在机器学习问题中找到广泛应用。在本文中，研究基于神经网络的IB问题解的估计，借助对IB问题的新型公式化方法。通过利用IB函数固有结构并利用映射方法，提出的IB问题公式化仅涉及一个待优化变量，后者容易适用于基于神经网络的数据驱动估计器。对神经估计器进行理论分析，以保证其渐近解答IB问题；此外，针对合成数据集和MNIST数据集上的数值实验表明了神经估计器的有效性。
引用
@article{arxiv.2507.19832,
title = {Neural Estimation of the Information Bottleneck Based on a Mapping Approach},
author = {Lingyi Chen and Shitong Wu and Sicheng Xu and Huihui Wu and Wenyi Zhang},
journal= {arXiv preprint arXiv:2507.19832},
year = {2025}
}
备注
5 pages, 2 figures. This paper has been presented at the 2024 IEEE Information Theory Workshop (ITW 2024)