神经网络层代数：一种度量深度学习容量与压缩的框架
机器学习
2022-05-10 v2
摘要
我们提出一种度量（深度）神经网络内在属性的新框架。虽然我们聚焦于卷积网络，该框架可外推至任意网络架构。具体地，我们评估两种网络属性：其一为容量，与表达能力相关；其二为压缩，与可学习性相关。这两种属性仅依赖于网络结构，而与网络参数无关。为此，我们提出两个度量：第一个称为层复杂度，刻画任意网络层的架构复杂度；第二个称为层内在幂，编码数据沿网络被压缩的方式。这些度量基于本文亦引入的层代数概念。该概念基于如下思想：全局属性依赖于网络拓扑，且任意神经网络的叶节点可用局部传递函数近似，从而允许对全局度量进行简便计算。我们表明，我们的全局复杂度度量比广泛使用的 VC 维更便于计算与表示。我们还利用所提度量比较了多种最先进架构的属性，并借助这些属性分析了它们在基准图像分类数据集上的准确率。
引用
@article{arxiv.2107.01081,
title = {Neural Network Layer Algebra: A Framework to Measure Capacity and Compression in Deep Learning},
author = {Alberto Badias and Ashis Banerjee},
journal= {arXiv preprint arXiv:2107.01081},
year = {2022}
}