利用图模块度理解深度神经网络的动态特性
计算机视觉与模式识别
2022-07-25 v3 机器学习
摘要
有充分论据支持深度神经网络（DNN）比以往手工设计的特征工程能捕获更好的特征表示，从而带来显著的性能提升。本文向理解各层特征表示的动态特性迈出了一小步。具体而言，我们将预训练 DNN 中中间表示的类别分离过程建模为动态图中社区的演化。然后，我们引入图论中的通用度量——模块度，来量化社区的演化。初步实验发现，模块度大致随层数加深而增加，当模型复杂度相对于数据集过大时，会出现退化和平台现象。通过渐近分析，我们证明模块度可广泛用于不同应用。例如，模块度为量化特征表示之间的差异提供了新见解。更关键的是，我们证明模块度曲线中的退化和平台代表了 DNN 中的冗余层，可在对性能影响最小的情况下进行剪枝，这为层剪枝提供了理论指导。我们的代码可在 https://github.com/yaolu-zjut/Dynamic-Graphs-Construction 获取。
引用
@article{arxiv.2111.12485,
title = {Understanding the Dynamics of DNNs Using Graph Modularity},
author = {Yao Lu and Wen Yang and Yunzhe Zhang and Zuohui Chen and Jinyin Chen and Qi Xuan and Zhen Wang and Xiaoniu Yang},
journal= {arXiv preprint arXiv:2111.12485},
year = {2022}
}
备注
Accepted by ECCV 2022