Attention Link：一种高效的基于注意力的低资源机器翻译架构
计算与语言
2023-02-02 v1 人工智能
摘要
Transformer 在机器翻译中取得了巨大成功，但基于 Transformer 的 NMT 模型通常需数百万双语平行语料进行训练。本文提出一种称为 attention link（AL）的新架构，以帮助提升 Transformer 模型性能，尤其在训练资源较少时。我们从理论上证明了我们的 attention link 架构在低训练资源下的优越性。此外，我们做了大量实验，包括 IWSLT14 数据集上的 en-de、de-en、en-fr、en-it、it-en、en-ro 翻译任务，以及 CVIT PIB 数据集上 bn-gu 与 gu-ta 翻译任务的真实低资源场景。所有实验结果表明我们的 attention link 性能强大且能带来显著提升。另外，通过结合我们的 attention link 与其他先进方法，我们在 IWSLT14 de-en 任务上取得了 37.9 的 BLEU 分数，即新的 SOTA。
引用
@article{arxiv.2302.00340,
title = {Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture},
author = {Zeping Min},
journal= {arXiv preprint arXiv:2302.00340},
year = {2023}
}