交叉注意力即你所需：适配预训练Transformer用于机器翻译
计算与语言
2021-09-15 v2
摘要
我们在机器翻译迁移学习背景下研究Transformer架构中交叉注意力的能力，并扩展了从零训练时针对交叉注意力的研究结论。我们通过在源语言或目标语言发生变更的数据上微调翻译模型进行了一系列实验。这些实验揭示，仅微调交叉注意力参数几乎与微调所有参数（即整个翻译模型）同样有效。我们提供了为何如此的见解，并观察到以这种方式限制微调可产生跨语言对齐的嵌入。该发现对研究人员与从业者的意义包括缓解灾难性遗忘、零样本翻译的潜力，以及以降低的参数存储开销将机器翻译模型扩展到若干新语言对的能力。
引用
@article{arxiv.2104.08771,
title = {Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation},
author = {Mozhdeh Gheini and Xiang Ren and Jonathan May},
journal= {arXiv preprint arXiv:2104.08771},
year = {2021}
}
备注
Accepted to EMNLP 2021 Main Conference