利用子矩阵的高效批式 dropout 训练
神经与进化计算
2015-02-10 v1 计算机视觉与模式识别
摘要
Dropout 是一种用于正则化人工神经网络的流行技术。Dropout 网络通常通过小批量梯度下降训练，并使用 dropout 掩码关闭一些单元——小批量中的每个样本都应用不同的 dropout 模式。我们探索了一种非常简单的 dropout 掩码替代方案。我们不使用将丢弃单元置零来进行掩蔽，而是使用权重矩阵的子矩阵执行矩阵乘法——不需要的隐藏单元从未被计算。以批式（batchwise）执行 dropout，使得小批量中每个样本使用一种 dropout 模式，我们可以大幅减少训练时间。批式 dropout 可用于全连接和卷积神经网络。
引用
@article{arxiv.1502.02478,
title = {Efficient batchwise dropout training using submatrices},
author = {Ben Graham and Jeremy Reizenstein and Leigh Robinson},
journal= {arXiv preprint arXiv:1502.02478},
year = {2015}
}