神经元激活可视化与信息论分析
计算机视觉与模式识别
2019-11-06 v3
摘要
理解深度神经网络（DNNs）的内部工作机制对于研究者设计和提升DNNs性能至关重要。本工作中，利用熵分析研究DNNs全连接层的神经元激活行为。各层激活模式的熵可为网络模型精度的评估提供性能指标。研究基于一个训练良好的网络模型展开。通过输入单一类别的图像，分析全连接层浅层与深层的激活模式。研究发现，对于训练良好的深度神经网络模型，神经元激活模式的熵随层深单调降低。即，神经元激活模式随全连接层加深变得越来越稳定。全连接层的熵模式也可为需要多少个全连接层以保证模型精度提供指导。本工作为DNN分析提供了新视角，展示了若干有趣结果。
引用
@article{arxiv.1905.08618,
title = {Neurons Activation Visualization and Information Theoretic Analysis},
author = {Longwei Wang and Peijie Chen},
journal= {arXiv preprint arXiv:1905.08618},
year = {2019}
}
备注
the paper is not so well written and need to be revised