离散变量香农互信息的近似及其在神经群体编码中的应用
信息论
2019-03-06 v1 math.IT
统计理论
神经元与认知
统计理论
摘要
尽管香农互信息已被广泛使用，其对许多实际问题（包括神经群体编码中的问题）的有效计算往往困难。基于 Fisher 信息的渐近公式有时能准确近似互信息，但该方法仅限于连续变量，因为 Fisher 信息的计算需要对被编码变量求导。在本文中，我们考虑基于 Kullback–Leibler 散度和 Rényi 散度的互信息的信息论界与近似。我们提出了若干信息度量，在神经群体编码背景下近似香农互信息。尽管我们的渐近公式均适用于离散变量，其中有一个无论被编码变量是离散还是连续都具有一致的性能和高精度。我们进行了数值模拟，并确认我们的近似公式在近似大神经群体刺激与响应之间的互信息时高度准确。这些近似公式可能为信息论在许多实际和理论问题中的应用带来便利。
引用
@article{arxiv.1903.01500,
title = {Approximations of Shannon Mutual Information for Discrete Variables with Applications to Neural Population Coding},
author = {Wentao Huang and Kechen Zhang},
journal= {arXiv preprint arXiv:1903.01500},
year = {2019}
}
备注
31 pages, 6 figures