级联适配器利用英语数据提升低资源语言问答性能
计算与语言
2024-09-04 v1 人工智能
人机交互
信息检索
机器学习
摘要
基于 Transformer 的架构已在包括问答在内的许多下游任务上展现出显著成果。另一方面，数据的可用性阻碍了低资源语言获得合理性能。本文中，我们探究预训练多语言模型在提升低资源语言问答性能方面的适用性。我们在类似于 MLQA 数据集的七种语言上，使用多语言 Transformer 架构测试了语言适配器与任务适配器的四种组合。此外，我们还提出了使用语言与任务适配器进行低资源问答的零样本迁移学习。我们观察到，堆叠语言适配器与任务适配器显著提升了多语言 Transformer 模型在低资源语言上的性能。
引用
@article{arxiv.2112.09866,
title = {Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages},
author = {Hariom A. Pandya and Bhavik Ardeshna and Brijesh S. Bhatt},
journal= {arXiv preprint arXiv:2112.09866},
year = {2024}
}