面向神经机器翻译的隐式词性序列
人工智能
2019-09-02 v1 计算与语言
摘要
学习目标端句法结构已被证明可改进神经机器翻译(NMT)。然而,通过隐变量引入句法会增加推断的额外复杂度,因为模型需要对隐句法结构进行边际化。为避免这一点,模型常求助于贪心搜索,这仅允许它们探索隐空间的有限部分。在本工作中,我们引入一种新的隐变量模型 LaSyn,它捕捉句法与语义的共依赖,同时允许对隐空间进行有效且高效的推断。LaSyn 解耦了连续隐变量之间的直接依赖,使其解码器能够穷举搜索隐句法选择,同时保持解码速度与隐变量词表大小成比例。我们通过修改基于 transformer 的 NMT 系统来实现 LaSyn,并设计了一种以词性信息作为隐序列进行正则化的神经期望最大化算法。在四个不同 MT 任务上的评估表明,使用 LaSyn 引入目标端句法既提升了翻译质量,也提供了改进多样性的机会。
引用
@article{arxiv.1908.11782,
title = {Latent Part-of-Speech Sequences for Neural Machine Translation},
author = {Xuewen Yang and Yingru Liu and Dongliang Xie and Xin Wang and Niranjan Balasubramanian},
journal= {arXiv preprint arXiv:1908.11782},
year = {2019}
}
备注
In proceedings of EMNLP 2019