一种用于变长序列的固定大小编码方法及其在神经网络语言模型中的应用
神经与进化计算
2015-06-17 v2 计算与语言
机器学习
摘要
在本文中，我们提出一种新的固定大小有序遗忘编码(FOFE)方法，该方法几乎能将任意变长词序列唯一地编码为固定大小的表示。FOFE 可根据词的位置，使用简单的有序遗忘机制对序列中的词序建模。在这项工作中，我们将 FOFE 应用于前馈神经网络语言模型(FNN-LMs)。实验结果表明，在不使用任何循环反馈的情况下，基于 FOFE 的 FNN-LMs 不仅能显著优于标准的固定输入 FNN-LMs，还能优于流行的 RNN-LMs。
引用
@article{arxiv.1505.01504,
title = {A Fixed-Size Encoding Method for Variable-Length Sequences with its Application to Neural Network Language Models},
author = {Shiliang Zhang and Hui Jiang and Mingbin Xu and Junfeng Hou and Lirong Dai},
journal= {arXiv preprint arXiv:1505.01504},
year = {2015}
}
备注
7 pages, 4 figures, Technical report (A shorter version will appear in ACL 2015)