回归词与句嵌入以正则化神经机器翻译
摘要
近年来，神经机器翻译 (NMT) 已成为自动翻译的主流方法。然而，如同许多其他深度学习方法，NMT 在训练数据量有限时存在过拟合问题。这对于低资源语言对以及许多可用监督数据天然受限的专业翻译领域而言是严重问题。为此，本文提出在训练时回归词 (ReWE) 与句 (ReSE) 嵌入，以正则化 NMT 模型并提升其泛化能力。训练期间，我们的模型被联合训练以预测类别型（词表中的词）与连续型（词与句嵌入）输出。在四个不同训练集规模语言对上的一组广泛实验表明，ReWE 与 ReSE 能超越强大的最先进基线模型，且训练集越小提升越大（例如巴斯克语-英语翻译中最高达 +5.15 BLEU 点）。解码器输出空间的可视化显示，所提正则化器改善了唯一词的聚类，便于正确预测。在最后一项无监督 NMT 实验中，我们表明当无平行数据可用时，ReWE 与 ReSE 也能提升机器翻译质量。
引用
@article{arxiv.1909.13466,
title = {Regressing Word and Sentence Embeddings for Regularization of Neural Machine Translation},
author = {Inigo Jauregi Unanue and Ehsan Zare Borzeshi and Massimo Piccardi},
journal= {arXiv preprint arXiv:1909.13466},
year = {2019}
}
备注
\c{opyright} 2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works