基于 R-Drop 结构的改进 Transformer 命名实体识别研究
计算与语言
2023-06-16 v1 人工智能
摘要
为增强模型的泛化能力并提升 Transformer 在命名实体识别任务中的效果，本文提出了 XLNet-Transformer-R 模型。该模型结合了 XLNet 预训练模型与带有相对位置编码的 Transformer 编码器，以增强模型处理长文本和学习上下文信息的能力，从而提高鲁棒性。为防止过拟合，采用 R-Drop 结构来提升泛化能力并增强模型在命名实体识别任务中的准确率。本文模型在 MSRA 数据集上进行了消融实验，并在四个数据集上与其他模型进行了对比实验，表现出优异的性能，证明了 XLNet-Transformer-R 模型的策略有效性。
引用
@article{arxiv.2306.08315,
title = {Research on Named Entity Recognition in Improved transformer with R-Drop structure},
author = {Weidong Ji and Yousheng Zhang and Guohui Zhou and Xu Wang},
journal= {arXiv preprint arXiv:2306.08315},
year = {2023}
}
备注
16 pages,7 figure