自动调整神经网络规模：在 n-gram 语言模型中的应用

Kenton Murray; David Chiang

自动调整神经网络规模：在 n-gram 语言模型中的应用

计算与语言 2015-08-21 v1

作者: Kenton Murray , David Chiang

摘要

神经网络已被证明能够提升一系列自然语言任务的性能。然而，其设计和训练可能相当复杂。研究人员常常依赖反复实验来选择最佳设置。在本文中，我们解决了选择隐藏层中正确单元数量的问题。我们引入了一种通过 $\ell_{\infty,1}$ 和 $\ell_{2,1}$ 正则化剪枝隐藏单元来自动调整网络规模的方法。我们将该方法应用于语言建模，并展示了其在保持困惑度的同时正确选择隐藏单元数量的能力。我们还将这些模型整合到机器翻译解码器中，并表明这些更小的神经模型保持了其未剪枝版本的显著改进。

关键词

神经网络网络剪枝隐藏单元 n-gram 语言模型机器翻译

引用

@article{arxiv.1508.05051,
  title  = {Auto-Sizing Neural Networks: With Applications to n-gram Language Models},
  author = {Kenton Murray and David Chiang},
  journal= {arXiv preprint arXiv:1508.05051},
  year   = {2015}
}

备注

EMNLP 2015

自动调整神经网络规模：在 n-gram 语言模型中的应用

摘要

关键词

引用

备注

相关论文