ArabGlossBERT：基于上下文-释义对微调BERT的词义消歧模型
计算与语言
2022-05-20 v1 人工智能
信息检索
机器学习
摘要
使用BERT等预训练Transformer模型已被证明在许多NLP任务中有效。本文介绍了我们为阿拉伯语词义消歧（WSD）微调BERT模型的工作。我们将WSD任务视为句子对二分类任务。首先，我们构建了一个标注的阿拉伯语上下文-释义对数据集（约167k对），从阿拉伯语本体论和比尔宰特大学提供的大型词典数据库中提取。每对被标注为True或False，且各上下文中目标词被识别并标注。其次，我们使用该数据集微调三个预训练的阿拉伯语BERT模型。第三，我们尝试使用不同的监督信号来强调上下文中的目标词。尽管实验中使用了大量义项，我们的实验取得了有前景的结果（准确率为84%）。
引用
@article{arxiv.2205.09685,
title = {ArabGlossBERT: Fine-Tuning BERT on Context-Gloss Pairs for WSD},
author = {Moustafa Al-Hajj and Mustafa Jarrar},
journal= {arXiv preprint arXiv:2205.09685},
year = {2022}
}