IndT5:面向10种土著语言的文本到文本Transformer
计算与语言
2021-04-28 v2
摘要
Transformer语言模型已成为基于自然语言处理的流水线的基础组件。尽管已引入若干Transformer模型以服务于多种语言,但针对低资源语言和土著语言的预训练模型仍然短缺。在本工作中,我们介绍了IndT5,这是第一个面向土著语言的Transformer语言模型。为训练IndT5,我们构建了IndCorpus——一个包含十种土著语言和西班牙语的新数据集。我们还通过将IndT5应用于机器翻译来展示其用途,研究了在西班牙语与土著语言之间进行翻译的不同方法,作为我们对AmericasNLP 2021开放机器翻译共享任务的贡献的一部分。IndT5和IndCorpus已公开供研究使用。
引用
@article{arxiv.2104.07483,
title = {IndT5: A Text-to-Text Transformer for 10 Indigenous Languages},
author = {El Moatez Billah Nagoudi and Wei-Rui Chen and Muhammad Abdul-Mageed and Hasan Cavusogl},
journal= {arXiv preprint arXiv:2104.07483},
year = {2021}
}
备注
Accepted in AmericasNLP 2021, co-located with NAACL-HLT 2021