ArabicNLU 2024：首个阿拉伯语自然语言理解共享任务
计算与语言
2024-07-31 v1
摘要
本文介绍了阿拉伯语自然语言理解（ArabicNLU 2024）共享任务概览，聚焦两个子任务：词义消歧（WSD）和地点指消歧（LMD）。该任务旨在评估自动系统解决词义歧义和识别阿拉伯文本中提及地点的能力。我们为参赛者提供了新数据集，包括约 34k 个标注词汇的 WSD 语料库，称为 SALMA；以及包含 3,893 个标注和 763 个独特地点指称的 IDRISI-DA 数据集。这些是具有挑战性的任务。尽管有 38 支队伍报名参赛，但最终评估阶段仅有三支队伍参赛，WSD 最高准确率为 77.8%，LMD 最高 MRR@1 为 95.0%。该共享任务不仅促进了不同技术的评估和比较，还为阿拉伯 NLU 技术的持续发展提供了宝贵的见解和资源。
引用
@article{arxiv.2407.20663,
title = {ArabicNLU 2024: The First Arabic Natural Language Understanding Shared Task},
author = {Mohammed Khalilia and Sanad Malaysha and Reem Suwaileh and Mustafa Jarrar and Alaa Aljabari and Tamer Elsayed and Imed Zitouni},
journal= {arXiv preprint arXiv:2407.20663},
year = {2024}
}
备注
In Proceedings of the Second Arabic Natural Language Processing Conference (ArabicNLP 2024), Bangkok, Thailand. Association for Computational Linguistics