通过加性高斯噪声变换实现多层网络中的信息可加性
信息论
2017-10-13 v1 机器学习
math.IT
机器学习
摘要
多层（或深度）网络是强大的概率模型，基于多级线性变换后接非线性（可能是随机的）函数。一般而言，线性变换由矩阵定义，非线性函数由信息信道定义。这些模型因其能够表征广泛推断问题中出现的复杂概率关系而广受欢迎。本文的贡献是一种新方法，用于分析模型已知情况下统计推断的基本极限。我们方法的有效性可在多种设定中确立，并推测其在更广泛的情况下也成立。贯穿始终的一个关键假设是矩阵是从正交不变分布中随机抽取的。我们的方法得出了以下内容的显式公式：1) 互信息；2) 最小均方误差 (MMSE)；3) 相对于问题参数的某些相变的存在性和位置；以及 4) 近似消息传递算法状态演化的不动点。当应用于具有多元高斯信道的模型特例时，我们的方法是严格的，并与随机矩阵的自由概率论有密切联系。当应用于非高斯信道的一般情况时，我们的方法提供了统计物理中复本法（replica method）的一种简单替代方案。一个关键观察结果是，当在特定变换域中观察时，模型中各个组件（即矩阵和信道）的 combined effects（综合效应）是可加的。
引用
@article{arxiv.1710.04580,
title = {Additivity of Information in Multilayer Networks via Additive Gaussian Noise Transforms},
author = {Galen Reeves},
journal= {arXiv preprint arXiv:1710.04580},
year = {2017}
}
备注
Presented at the 55th Annual Allerton Conference on Communication, Control, and Computing, 2017