在低资源翻译的中间任务微调中利用辅助领域平行数据
计算与语言
2023-09-26 v2
摘要
在预训练多语言序列到序列（PMSS）模型上训练的 NMT 系统，当可用于微调的平行数据不足时表现不佳。对于在这些模型中缺失或代表性不足的语言而言尤其如此。当数据来自不同领域时，问题更加严重。在本文中，我们展示对 PMSS 模型进行中间任务微调（ITFT）对领域特定的 NMT 极为有益，特别是当目标领域数据有限或不可用、且所考虑的语言在 PMSS 模型中缺失或代表性不足时。我们使用领域散度检验量化领域特定结果的差异，并表明 ITFT 能在某种程度上缓解领域散度的影响。
引用
@article{arxiv.2306.01382,
title = {Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation},
author = {Shravan Nayak and Surangika Ranathunga and Sarubi Thillainathan and Rikki Hung and Anthony Rinaldi and Yining Wang and Jonah Mackey and Andrew Ho and En-Shiun Annie Lee},
journal= {arXiv preprint arXiv:2306.01382},
year = {2023}
}
备注
Accepted for poster presentation at the Practical Machine Learning for Developing Countries (PML4DC) workshop, ICLR 2023