FonMTL：面向 Fon 语言的多任务学习探索
计算与语言
2023-09-13 v2 人工智能
摘要
Fon 语言由平均 200 万人使用，是一种真正低资源的非洲语言，其在线存在有限，且现有数据集极少（仅举几例）。多任务学习是一种通过学习范式，旨在通过跨不同但相关任务共享知识来提升模型泛化能力：这在数据极度匮乏的场景中可能尤为普遍。本文提出首个面向 Fon 语言自然语言处理模型能力增强的多任务学习探索性方法。具体地，我们探索 Fon 语言的命名实体识别（NER）与词性标注（POS）任务。我们利用两个语言模型头作为编码器来构建输入的共享表示，并使用线性层块完成各任务的分类。我们在 Fon 的 NER 与 POS 任务上的结果显示，相较于在单任务上微调的若干多语言预训练语言模型，具有竞争力（或更优）的性能。此外，我们进行了若干消融研究以评估两种不同损失组合策略的效率，发现等损失加权方法在我们案例中效果最佳。我们的代码已在 https://github.com/bonaventuredossou/multitask_fon 开源。
引用
@article{arxiv.2308.14280,
title = {FonMTL: Towards Multitask Learning for the Fon Language},
author = {Bonaventure F. P. Dossou and Iffanice Houndayi and Pamely Zantou and Gilles Hacheme},
journal= {arXiv preprint arXiv:2308.14280},
year = {2023}
}
备注
Accepted at WiNLP workshop, co-located at EMNLP 2023