用于神经机器翻译的紧凑个性化模型
计算与语言
2018-11-07 v1
摘要
我们提出并比较了基于梯度的自注意力神经机器翻译模型领域自适应方法。我们证明，通过在训练过程中利用组 lasso 正则化鼓励偏移张量集合中的结构化稀疏，可在自适应时冻结大部分模型参数，且翻译质量降低极小或毫无降低。我们在多个数据集与语言对上评估了该技术对于批量与增量自适应的效果。我们的系统架构——将最先进的自注意力模型与紧凑领域自适应相结合——提供了高质量、在空间与时间上均高效的个性化机器翻译。
引用
@article{arxiv.1811.01990,
title = {Compact Personalized Models for Neural Machine Translation},
author = {Joern Wuebker and Patrick Simianer and John DeNero},
journal= {arXiv preprint arXiv:1811.01990},
year = {2018}
}
备注
Published at the 2018 Conference on Empirical Methods in Natural Language Processing