基于变分贝叶斯矩阵分解的 CP 分解卷积层秩选择
机器学习
2018-01-17 v1
摘要
卷积神经网络（CNNs）是图像分类等许多领域中成功的方法之一。然而，CNNs 推理所需的内存量和计算成本因内存与计算能力限制而阻碍其在移动设备上的高效运行。压缩 CNNs 的方法之一是通过卷积层中的 CP 分解进行逐层迭代压缩，即逐层压缩与微调。使用 CP 分解进行压缩时，秩的选择十分重要。在先前基于各层敏感度的秩选择方法中，网络的平均秩仍是任意选定的。此外，所有层的秩在迭代压缩整个过程之前就已确定，而某层的秩在微调后可能改变。因此，本文提出使用变分贝叶斯矩阵分解（VBMF）选择每层的秩，该方法比任意方法更系统。进一步，为考虑前一次迭代微调后各层秩的变化，该方法应用于压缩目标层之前，即前一次迭代微调之后。结果表明，在 AlexNet 卷积层压缩中取得了更好的准确率，同时具有更高的压缩率。
引用
@article{arxiv.1801.05243,
title = {Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization},
author = {Marcella Astrid and Seung-Ik Lee and Beom-Su Seo},
journal= {arXiv preprint arXiv:1801.05243},
year = {2018}
}
备注
Accepted as a conference paper at ICACT 2018