基于混合专家模型的命名实体识别
计算与语言
2024-05-01 v1 人工智能
摘要
命名实体识别 (NER) 是自然语言处理领域的关键步骤。尽管各种距离监督模型已取得有希望的性能，但我们认为距离监督必然引入不完整和噪声注释，这可能误导模型训练过程。为解决此问题，我们提出了一个基于混合专家 (MoE) 的健壮 NER 模型，命名为 BOND-MoE。与依赖单一模型进行 NER 预测不同，多个模型在期望最大化 (EM) 框架下进行训练和集成，从而大大减轻了噪声监督的影响。此外，我们引入一个公平分配模块来平衡文档-模型分配过程。大量实验表明，所提方法在与其他距离监督 NER 方法相比时实现了最先进的性能。
引用
@article{arxiv.2404.19192,
title = {Mix of Experts Language Model for Named Entity Recognition},
author = {Xinwei Chen and Kun Li and Tianyou Song and Jiangjian Guo},
journal= {arXiv preprint arXiv:2404.19192},
year = {2024}
}