Scifaro

中文

预测深度学习中的参数

机器学习 2014-10-28 v2 神经与进化计算机器学习

作者: Misha Denil , Babak Shakibi , Laurent Dinh , Marc'Aurelio Ranzato , Nando de Freitas

在 arXiv 上查看 ↗ PDF ↗

摘要

我们证明了几个深度学习模型的参数化中存在显著冗余。给定每个特征仅少数权重值，即可准确预测剩余值。此外，我们表明不仅可以预测参数值，而且许多参数根本无需学习。我们通过仅学习少量权重并预测其余权重来训练几种不同的架构。在最佳情况下，我们能够预测网络中超过 95% 的权重，且准确率没有任何下降。

关键词

深度学习参数冗余权重预测神经网络模型压缩训练效率

引用

@article{arxiv.1306.0543,
  title  = {Predicting Parameters in Deep Learning},
  author = {Misha Denil and Babak Shakibi and Laurent Dinh and Marc'Aurelio Ranzato and Nando de Freitas},
  journal= {arXiv preprint arXiv:1306.0543},
  year   = {2014}
}