跨语言迁移方法的成本效益分析
计算与语言
2021-12-15 v4 信息检索
机器学习
摘要
跨语言迁移的一种有效方法是在一种语言的有监督数据集上微调双语或多语模型，并以零样本方式在另一种语言上评估。在训练时或推理时翻译样本也是可行的替代方案。然而，这些方法相关的成本在文献中很少被讨论。在本工作中，我们从有效性（如准确率）、开发与部署成本以及推理时延迟等方面分析跨语言方法。我们在三个任务上的实验表明，最佳的跨语言方法高度依赖于任务。最后，通过结合零样本与翻译方法，我们在本工作所用三个数据集中的两个上达到了最先进水平。基于这些结果，我们质疑在目标语言中需要人工标注训练数据的必要性。代码与翻译后的数据集可在 https://github.com/unicamp-dl/cross-lingual-analysis 获取。
引用
@article{arxiv.2105.06813,
title = {A cost-benefit analysis of cross-lingual transfer methods},
author = {Guilherme Moraes Rosa and Luiz Henrique Bonifacio and Leandro Rodrigues de Souza and Roberto Lotufo and Rodrigo Nogueira},
journal= {arXiv preprint arXiv:2105.06813},
year = {2021}
}