基于对数行列式熵估计器的神经网络理解
机器学习
2021-05-11 v1 机器学习
摘要
深度神经网络信息性行为的理解受到误用估计器与网络结构复杂性的挑战，这导致不一致的观测与多样化的解释。在此我们提出 LogDet 估计器——一种近似香农微分熵的可靠的基于矩阵的熵估计器。我们基于 LogDet 估计器构建信息性度量，通过可比实验验证我们的方法，并利用其分析神经网络行为。我们的结果表明 LogDet 估计器克服了高度多样且退化分布所带来的缺陷，因而可可靠地估计神经网络中的熵。网络分析结果还发现了浅层与深层之间的功能差异，这有助于理解神经网络信息瓶颈理论中的压缩现象。
引用
@article{arxiv.2105.03705,
title = {Understanding Neural Networks with Logarithm Determinant Entropy Estimator},
author = {Zhanghao Zhouyin and Ding Liu},
journal= {arXiv preprint arXiv:2105.03705},
year = {2021}
}
备注
15pages,22 figures