冻结子网络以分析神经机器翻译中的领域自适应
计算与语言
2019-10-28 v4
摘要
为了更好地理解持续训练的有效性，我们分析了神经机器翻译系统的主要组件（编码器、解码器以及各嵌入空间），并考量各组件对领域自适应的贡献与能力。我们发现，在持续训练期间冻结任一单一组件对性能影响极小，并且当仅自适应单一组件而保持模型其余部分固定时，性能出乎意料地好。我们还发现，与敏感性分析度量相比，持续训练并未使模型偏离领域外模型太远，这表明领域外模型可为新领域提供良好的通用初始化。
引用
@article{arxiv.1809.05218,
title = {Freezing Subnetworks to Analyze Domain Adaptation in Neural Machine Translation},
author = {Brian Thompson and Huda Khayrallah and Antonios Anastasopoulos and Arya D. McCarthy and Kevin Duh and Rebecca Marvin and Paul McNamee and Jeremy Gwinnup and Tim Anderson and Philipp Koehn},
journal= {arXiv preprint arXiv:1809.05218},
year = {2019}
}
备注
presented at WMT 2018. Please cite using the bib entry from here: http://www.statmt.org/wmt18/bib/WMT013.bib