深度神经网络中条件前馈计算的低秩近似
机器学习
2014-01-30 v4
摘要
深度神经网络的可扩展性特性提出了关键的研究问题，尤其是当所考虑的问题变得更大且更具挑战性时。本文扩展了 Bengio 等人引入的条件计算思想，其中深度网络的节点通过一组门控单元进行增强，这些门控单元决定何时应计算某个节点。通过将权重矩阵分解为低秩近似，可以高效地获得非线性前激活符号的估计。对于使用整流线性隐藏单元的网络，这意味着可以完全省略具有估计负非线性前激活的隐藏单元的计算，因为当应用非线性时其值将变为零。对于稀疏神经网络，这可以带来可观的速度提升。使用 MNIST 和 SVHN 数据集在全连接深度神经网络上的实验结果证明了所提出方案相对于条件计算过程引入的误差的性能鲁棒性。
引用
@article{arxiv.1312.4461,
title = {Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks},
author = {Andrew Davis and Itamar Arel},
journal= {arXiv preprint arXiv:1312.4461},
year = {2014}
}
备注
10 pages, 5 figures. Submitted to ICLR 2014