Dropout 神经网络的信息平面分析
信息论
2023-03-02 v1 math.IT
摘要
信息论框架有望解释神经网络的预测能力。特别是，信息平面分析通过测量输入与表示之间以及表示与输出之间的互信息 (MI)，应能给出对训练过程的丰富洞见。然而，这种方法被证明强烈依赖于 MI 估计量的选择。对于确定性网络，若输入与表示之间的 MI 为无穷，则问题被放大。因此，估计值由不同的估计方法定义，但并未从信息论角度充分代表训练过程。在本工作中，我们表明具有连续分布噪声的 dropout 可确保 MI 有限。我们在一系列实验中证明，这使得对一类实践中广泛使用的 dropout 神经网络能够进行有意义的信息平面分析。
引用
@article{arxiv.2303.00596,
title = {Information Plane Analysis for Dropout Neural Networks},
author = {Linara Adilova and Bernhard C. Geiger and Asja Fischer},
journal= {arXiv preprint arXiv:2303.00596},
year = {2023}
}
备注
Published as a conference paper at ICLR2023