基于矩阵Rényi熵与张量核的深度神经网络信息平面分析
机器学习
2019-09-26 v1 机器学习
摘要
通过信息平面(IP)理论分析深度神经网络(DNNs)近来作为洞察其泛化能力等的工具而受到极大关注。然而,如何估计每个隐藏层与输入/期望输出之间的互信息(MI)以构建IP绝非易事。例如,具有大量神经元的隐藏层要求MI估计量对这类层所关联的高维性具有鲁棒性。MI估计量还应能自然处理卷积层,同时在计算上易于扩展至大型网络。迄今为止,现有的IP方法均未能研究真正的深度卷积神经网络(CNNs),例如VGG-16。本文提出一种使用新型矩阵基Rényi熵并结合卷积层上张量核的IP分析,利用核方法的威力独立于数据维度地表示概率分布的性质。所得结果使用一种全新方法对先前关于小规模DNNs的文献给出了新的见解。重要的是,新框架使我们能够对当代大规模DNNs和CNNs提供首个全面的IP分析,研究不同训练阶段并给出对大规模神经网络训练动力学的新见解。
引用
@article{arxiv.1909.11396,
title = {Information Plane Analysis of Deep Neural Networks via Matrix-Based Renyi's Entropy and Tensor Kernels},
author = {Kristoffer Wickstrøm and Sigurd Løkse and Michael Kampffmeyer and Shujian Yu and Jose Principe and Robert Jenssen},
journal= {arXiv preprint arXiv:1909.11396},
year = {2019}
}
备注
15 pages, 8 figures