用于机器翻译的记忆增强神经网络
机器学习
2019-09-19 v1 计算与语言
机器学习
摘要
记忆增强神经网络（MANNs）已在一系列人工序列学习任务上被证明优于其他循环神经网络架构，但其在现实任务中的应用有限。我们评估了神经图灵机（NTM）和可微分神经计算机（DNC）在机器翻译中的直接应用。我们进一步提出并评估了两个模型，它们以记忆增强神经网络为灵感扩展注意力编码器-解码器能力。我们在 IWSLT 越南语到英语以及 ACL 罗马尼亚语到英语数据集上评估所提模型。我们提出的模型与记忆增强神经网络在越南语到英语翻译任务上表现与注意力编码器-解码器相似，而在罗马尼亚语到英语任务上 BLEU 分数低 0.3-1.9。有趣的是，我们的分析表明，尽管具备额外灵活性且随机初始化，记忆增强神经网络学到的机器翻译算法几乎与注意力编码器-解码器相同。
引用
@article{arxiv.1909.08314,
title = {Memory-Augmented Neural Networks for Machine Translation},
author = {Mark Collier and Joeran Beel},
journal= {arXiv preprint arXiv:1909.08314},
year = {2019}
}