面向多领域神经机器翻译的领域特定子网络
计算与语言
2022-10-19 v1
摘要
本文提出领域特定子网络（DoSS）。它利用通过剪枝获得的一组掩码为每个领域定义子网络，并在领域数据上微调子网络参数。与在每个领域上微调整个网络相比，该方法性能非常接近且大幅减少了参数量。此外，提出了一种使掩码按领域唯一的方法，并证明可极大提升对未见领域的泛化能力。在德英机器翻译实验中，所提方法以 1.47 个 BLEU 点的优势优于在多领域（医疗、科技和宗教）数据上继续训练的强基线。同时，在新领域（法律）上继续训练 DoSS 以 1.52 个 BLEU 点优于多领域（医疗、科技、宗教、法律）基线。
引用
@article{arxiv.2210.09805,
title = {Domain Specific Sub-network for Multi-Domain Neural Machine Translation},
author = {Amr Hendy and Mohamed Abdelghaffar and Mohamed Afify and Ahmed Y. Tawfik},
journal= {arXiv preprint arXiv:2210.09805},
year = {2022}
}
备注
6 pages, 1 figure, 5 tables, AACL-IJCNLP 2022 conference