面向16种非洲语言的多文化意图检测与槽位填充数据集 INJONGO
计算与语言
2025-02-17 v1
摘要
槽位填充和意图检测是对话式AI中的成熟任务。然而，当前大规模基准数据集常常排除对低资源语言的评估，并依赖从英语基准数据集的翻译，主要反映西方中心化的概念。在本文中，我们介绍了Injongo——一个面向16种非洲语言的多文化、开源基准数据集，包含来自不同领域（包括银行、旅游、居家和餐饮）的本土语言使用者生成的 utterance。通过大量实验，我们对多语言变换模型的微调和大语言模型（LLM）的提示进行基准测试，显示利用非洲文化 utterance相对于西方中心化 utterance可提升从英语语言进行的跨语言迁移。实验结果表明，当前LLM在槽位填充任务上表现不佳，GPT-4o平均F1分数仅为26%。相比之下，意图检测表现更佳，平均准确率为70.6%，但仍低于微调基线。相对于英语语言，GPT-4o和微调基线在意图检测上表现相似，准确率约为81%。我们的发现表明，LLM在许多低资源非洲语言上的表现仍不足，需进一步工作以提升其下游性能。
引用
@article{arxiv.2502.09814,
title = {INJONGO: A Multicultural Intent Detection and Slot-filling Dataset for 16 African Languages},
author = {Hao Yu and Jesujoba O. Alabi and Andiswa Bukula and Jian Yun Zhuang and En-Shiun Annie Lee and Tadesse Kebede Guge and Israel Abebe Azime and Happy Buzaaba and Blessing Kudzaishe Sibanda and Godson K. Kalipe and Jonathan Mukiibi and Salomon Kabongo Kabenamualu and Mmasibidi Setaka and Lolwethu Ndolela and Nkiruka Odu and Rooweither Mabuya and Shamsuddeen Hassan Muhammad and Salomey Osei and Sokhar Samb and Juliet W. Murage and Dietrich Klakow and David Ifeoluwa Adelani},
journal= {arXiv preprint arXiv:2502.09814},
year = {2025}
}