ArBanking77:现代与方言阿拉伯语意图检测神经模型及新数据集
计算与语言
2023-10-31 v1
摘要
本文提出 ArBanking77,一个面向银行领域意图检测的大型阿拉伯语数据集。我们的数据集由原始英文 Banking77 数据集本地化并阿拉伯化而来,原数据集包含 13,083 条查询,而 ArBanking77 包含 31,404 条现代标准阿拉伯语(MSA)与巴勒斯坦方言查询,每条查询被分类至 77 个类别(意图)之一。此外,我们提出一个基于 AraBERT、在 ArBanking77 上微调的神经模型,其在 MSA 与巴勒斯坦方言上分别取得 0.9209 与 0.8995 的 F1 分数。我们进行了大量实验,模拟低资源场景,即模型在数据的子集上训练,并加入含噪声查询以模拟真实 NLP 系统(尤其是在线聊天查询)中出现的口语化表达、错误与拼写错误。数据与模型已公开于 https://sina.birzeit.edu/arbanking77。
引用
@article{arxiv.2310.19034,
title = {ArBanking77: Intent Detection Neural Model and a New Dataset in Modern and Dialectical Arabic},
author = {Mustafa Jarrar and Ahmet Birim and Mohammed Khalilia and Mustafa Erden and Sana Ghanem},
journal= {arXiv preprint arXiv:2310.19034},
year = {2023}
}