利用克罗内克积压缩神经网络中的全连接层
神经与进化计算
2015-07-23 v2 计算机视觉与模式识别
机器学习
摘要
本文提出并研究了一种利用克罗内克积减少神经网络全连接层参数数量和计算时间的技术，其代价是预测质量的轻微下降。该技术通过将全连接层替换为所谓的克罗内克全连接层来实现，其中全连接层的权重矩阵由多个较小矩阵的克罗内克积的线性组合来近似。具体而言，给定一个在 SVHN 数据集上训练的模型，我们能够构建一个新的 KFC 模型，其总参数数量减少 73%，而误差仅轻微上升。相比之下，在允许类似质量下降的情况下，使用低秩方法只能实现总参数数量减少 35%。如果仅将 KFC 层与其对应的全连接层进行比较，参数数量的减少超过 99%。计算量也因将全连接层中大矩阵的矩阵乘积替换为 KFC 层中若干较小矩阵的矩阵乘积而减少。在 MNIST、SVHN 和一些汉字识别模型上的进一步实验也证明了我们技术的有效性。
引用
@article{arxiv.1507.05775,
title = {Compression of Fully-Connected Layer in Neural Network by Kronecker Product},
author = {Shuchang Zhou and Jia-Nan Wu},
journal= {arXiv preprint arXiv:1507.05775},
year = {2015}
}