易训练稀疏网络探究器
机器学习
2023-01-16 v2
摘要
我们提出“易训练稀疏网络探究器”（ASNI）算法，该算法利用一种基于sigmoid函数的新颖剪枝策略，在单轮训练过程中全局诱导稀疏度水平。ASNI算法完成了当前最先进策略只能二者择其一的两项任务。ASNI算法有两个子算法：1) ASNI-I，2) ASNI-II。ASNI-I仅通过单轮训练学习一个准确的现成稀疏网络。ASNI-II学习一个稀疏网络以及一个量化、压缩的初始化，且该稀疏网络可从中训练。所学初始化是量化的，因为每一层L中非零参数的初始化仅学习两个数。因此，整个网络初始化的量化级数为2L。此外，所学初始化是压缩的，因为它是由2L个数构成的集合。可从这种量化且压缩的初始化训练出的特殊稀疏网络称为易训练的（amenable）。据我们所知，没有其他算法能学习量化且压缩的初始化，且从中网络仍可训练，并能够解决这两项剪枝任务。我们的数值实验表明，存在一种量化且压缩的初始化，从中学习的稀疏网络可被训练并达到与稠密版本相当的精度。我们通过实验证明，这2L个量化级是ASNI-I所学稀疏网络每一层参数的聚集点。为证实上述结论，我们利用ResNets、VGG风格、小型卷积和全连接等网络在ImageNet、CIFAR10和MNIST数据集上进行了一系列实验。
引用
@article{arxiv.2202.09284,
title = {Amenable Sparse Network Investigator},
author = {Saeed Damadi and Erfan Nouri and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2202.09284},
year = {2023}
}