适应低资源双重困境：探究低计算量方法在低资源非洲语言上的应用
计算与语言
2023-03-31 v1 人工智能
摘要
许多自然语言处理（NLP）任务都使用了大规模预训练语言模型，这类模型计算开销巨大。然而，高性能计算资源的匮乏叠加非洲语言数据稀缺的问题，构成了针对这些语言开展研究实验的真实障碍。在本工作中，我们在此低资源双重困境背景下探索语言适配器（language adapters）等低计算量方法的适用性。我们试图回答以下问题：被数据与算力双重束缚的研究者能否借助语言适配器切实构建出有用的模型？通过在非洲语言上的微调实验，我们评估了它们作为低资源非洲语言 NLP 高性价比方法的有效性。在仅使用免费计算资源的情况下，我们的结果表明语言适配器取得了与计算资源消耗巨大的大规模预训练语言模型相当的性能。这为进一步实验与探索语言适配器能力的全部范围打开了大门。
引用
@article{arxiv.2303.16985,
title = {Adapting to the Low-Resource Double-Bind: Investigating Low-Compute Methods on Low-Resource African Languages},
author = {Colin Leong and Herumb Shandilya and Bonaventure F. P. Dossou and Atnafu Lambebo Tonja and Joel Mathew and Abdul-Hakeem Omotayo and Oreen Yousuf and Zainab Akinjobi and Chris Chinenye Emezue and Shamsudeen Muhammad and Steven Kolawole and Younwoo Choi and Tosin Adewumi},
journal= {arXiv preprint arXiv:2303.16985},
year = {2023}
}
备注
Accepted to AfricaNLP workshop at ICLR2023