深度学习架构中神经元社区的演化研究
机器学习
2021-10-12 v2 信息论
神经与进化计算
math.IT
摘要
在过去十年中，深度学习技术日益被用于分类任务，然而解释深度学习架构如何取得最先进性能仍是一个难以达成的目标。尽管所有训练信息都深嵌于训练好的模型中，仅通过分析模型我们仍对其性能知之甚少。本文考察基于深度学习的分类模型的神经元激活模式，并探究模型的性能是否可通过神经元激活行为加以解释。我们提出两种方法：其一将神经元激活行为建模为图并考察神经元是否形成有意义的社区，其二利用熵考察神经元行为的可预测性。我们全面的实验研究表明，社区质量与熵均可为深度学习模型性能提供新见解，从而开辟了直接从神经元激活模式解释深度学习模型的新途径。
引用
@article{arxiv.2106.04693,
title = {On the Evolution of Neuron Communities in a Deep Learning Architecture},
author = {Sakib Mostafa and Debajyoti Mondal},
journal= {arXiv preprint arXiv:2106.04693},
year = {2021}
}