mucAI在WojoodNER 2024中的提交：基于最近邻搜索的阿拉伯语命名实体识别
计算与语言
2024-08-08 v1 机器学习
摘要
命名实体识别（NER）是自然语言处理（NLP）中的一项任务，旨在识别和分类文本中的实体。然而，在应用于阿拉伯语数据时，NER面临独特的挑战，源于该语言丰富的形态屈折变化、缺乏大写提示以及拼写变体，一个单词可以包含多个语素。在本文中，我们介绍了Arabic KNN-NER，即我们对Wojood命名实体识别共享任务2024（ArabicNLP 2024）的提交。我们参与了共享子任务1——平面NER。在该共享子任务中，我们针对阿拉伯语文本进行细粒度平面实体识别，为每个单词识别一个主实体以及零个或多个子实体。Arabic KNN-NER通过在对缓存训练数据执行KNN搜索获得的另一个标签概率分布来增强微调模型的概率分布。我们的提交在WojoodFine数据集的测试集上取得了91%的成绩，使Arabic KNN-NER在共享任务排行榜中位居榜首。
引用
@article{arxiv.2408.03652,
title = {mucAI at WojoodNER 2024: Arabic Named Entity Recognition with Nearest Neighbor Search},
author = {Ahmed Abdou and Tasneem Mohsen},
journal= {arXiv preprint arXiv:2408.03652},
year = {2024}
}