基于 BPE 与 Hybrid-LightRNN 的快速简易 Softmax 混合模型用于语言生成
计算与语言
2019-06-27 v2
摘要
Softmax 混合模型（MoS）已被证明能有效解决基于 Softmax 模型的表达能力局限。尽管具有已知优势，MoS 因需计算多个 Softmax 而在内存和计算时间上的大量消耗使其在实际应用中受限。在本工作中，我们通过研究改进的词编码方案来释放 MoS 在实用中的威力，这些方案能有效缩减词表规模，从而缓解内存与计算负担。我们表明 BPE 和我们提出的 Hybrid-LightRNN 均带来了改进的编码机制，可在不损失性能的情况下将 MoS 的时间和内存消耗减半。借助 MoS，我们在 IWSLT 2014 德英语料上取得了 1.5 BLEU 分的提升，在图像描述上取得了 0.76 CIDEr 分的提升。此外，在更大的 WMT 2014 机器翻译数据集上，我们的 MoS 增强型 Transformer 对英德方向取得 29.5 BLEU 分、英法方向取得 42.1 BLEU 分，分别比单一 Softmax 的 Transformer 高出 0.8 和 0.4 BLEU 分，并在 WMT 2014 英德任务上取得了最先进结果。
引用
@article{arxiv.1809.09296,
title = {Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation},
author = {Xiang Kong and Qizhe Xie and Zihang Dai and Eduard Hovy},
journal= {arXiv preprint arXiv:1809.09296},
year = {2019}
}