基于字符的Transformer神经机器翻译
计算与语言
2019-11-13 v1
摘要
基于字符的翻译具有若干引人注目的优点，但其性能通常劣于精心调优的BPE基线。本文研究了在Transformer架构下使用基于字符的输入与输出的影响。特别地，我们在英德（EN-DE）翻译任务上的实验表明，基于字符的Transformer模型比其BPE对应模型更具鲁棒性，无论是在翻译含噪文本还是翻译来自不同领域的文本时均如此。为了在干净的同领域数据上获得可比的BLEU分数并缩小与基于BPE模型的差距，我们采用已知技术来训练更深的Transformer模型。
引用
@article{arxiv.1911.04997,
title = {Character-based NMT with Transformer},
author = {Rohit Gupta and Laurent Besacier and Marc Dymetman and Matthias Gallé},
journal= {arXiv preprint arXiv:1911.04997},
year = {2019}
}