MXNet中用于循环神经网络的批构建策略的综合研究
机器学习
2017-05-09 v1 机器学习
摘要
在这项工作中，我们比较了用于循环神经网络小批量训练的不同批构建方法。尽管诸如TensorFlow和MXNet的流行实现建议采用分桶(bucketing)方法来改善循环训练过程的并行化能力，我们提出了一种简单的排序策略，以随机交替排序的方式安排训练序列。我们在CHiME-4噪声语音识别语料库上将我们的方法与序列分桶以及各种其他批构建策略进行比较。实验表明，我们的交替排序方法能够在训练时间和识别性能上竞争，同时概念上更易于实现。
引用
@article{arxiv.1705.02414,
title = {A comprehensive study of batch construction strategies for recurrent neural networks in MXNet},
author = {Patrick Doetsch and Pavel Golik and Hermann Ney},
journal= {arXiv preprint arXiv:1705.02414},
year = {2017}
}