DAG-DNN中函数的表示与分解及结构性网络剪枝
机器学习
2023-06-19 v1
摘要
深度神经网络（DNNs）给出的结论必须仔细审查，以确定它们是通用的还是依赖于架构的。术语DAG-DNN指的是DNN的图形表示，其中架构表示为有向无环图（DAG），其上的弧与函数相关联。节点的层级表示输入节点与所关注节点之间的最大跳数。在当前研究中，我们证明DAG-DNN可用于推导定义在DNN各种子架构上的所有函数。我们还证明，DAG-DNN中定义的函数可通过一系列下三角矩阵导出，每个下三角矩阵提供定义在子图中直至指定层级节点的函数的转移。与下三角矩阵相关的提升结构使得能够以系统方式执行网络的结构性剪枝。分解普遍适用于所有DNN这一事实意味着网络剪枝在理论上可应用于任何DNN，无论底层架构如何。我们证明，基于子网络及初始化可使用相同或更少迭代次数达到与原网络相当的的训练性能这一事实，有可能获得弱版本彩票假说（lottery ticket hypothesis）的中奖票（子网络与初始化）。
引用
@article{arxiv.2306.09707,
title = {Representation and decomposition of functions in DAG-DNNs and structural network pruning},
author = {Wen-Liang Hwang},
journal= {arXiv preprint arXiv:2306.09707},
year = {2023}
}