利用翻译伪影在多语言任务中实现训练与推理的协同
计算与语言
2022-10-19 v1
摘要
翻译在提升多语言任务性能方面发挥了关键作用：（1）从源语言数据生成目标语言数据用于训练；（2）从目标语言数据生成源语言数据用于推理。然而，先前工作未考虑同时使用两种翻译。本文表明，将二者结合可在多种多语言句子分类任务上产生协同效果。我们通过实证发现，由译者风格化产生的翻译伪影是性能提升的主要因素。基于该分析，我们采用 SupCon 和 MixUp 两种考虑翻译伪影的训练方法。此外，我们提出一种称为 MUSC 的跨语言微调算法，其联合使用 SupCon 和 MixUp 并提升了性能。我们的代码发布于 https://github.com/jongwooko/MUSC。
引用
@article{arxiv.2210.09588,
title = {Synergy with Translation Artifacts for Training and Inference in Multilingual Tasks},
author = {Jaehoon Oh and Jongwoo Ko and Se-Young Yun},
journal= {arXiv preprint arXiv:2210.09588},
year = {2022}
}
备注
The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)