神经网络的张量化
机器学习
2015-12-22 v2 神经与进化计算
摘要
深度神经网络目前在多个领域展现出最先进的性能。同时，这类模型对计算资源要求非常高。特别是，常用的全连接层需要大量内存，使得难以在低端设备上使用模型，并阻碍了模型尺寸的进一步增大。在本文中，我们将全连接层的稠密权重矩阵转换为张量列(Tensor Train)格式，使得参数量减少巨大的倍数，同时保留该层的表达能力。具体而言，对于Very Deep VGG网络，我们报告全连接层稠密权重矩阵的压缩因子高达200000倍，导致整个网络的压缩因子达7倍。
引用
@article{arxiv.1509.06569,
title = {Tensorizing Neural Networks},
author = {Alexander Novikov and Dmitry Podoprikhin and Anton Osokin and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1509.06569},
year = {2015}
}