基于自注意力的字符级翻译
计算与语言
2020-05-01 v1
摘要
我们探讨了自注意力模型在字符级神经机器翻译中的适用性。我们测试了标准 transformer 模型，以及一种编码器块利用卷积组合邻近字符信息的新颖变体。我们在 WMT 和 UN 数据集上进行了大量实验，测试了到英语的双语与多语翻译，使用了多达三种输入语言（法语、西班牙语和汉语）。我们的 transformer 变体在字符级上持续优于标准 transformer，且收敛更快，同时学到了更鲁棒的字符级对齐。
引用
@article{arxiv.2004.14788,
title = {Character-Level Translation with Self-attention},
author = {Yingqiang Gao and Nikola I. Nikolov and Yuhuang Hu and Richard H. R. Hahnloser},
journal= {arXiv preprint arXiv:2004.14788},
year = {2020}
}
备注
ACL 2020