用于高效基于BERT的命名实体识别的注意力
计算与语言
2025-05-06 v1
摘要
本文提出了一个利用自然语言处理（NLP）中的双向编码器表示来自变换器（BERT）模型进行命名实体识别（NER）的框架。NER 是 NLP 中的一项基础任务，在下游应用中具有广泛的适用性。虽然 BERT 已成为实体识别的最先进模型，但为每个新应用从头开始微调它，计算成本高且耗时。为了解决这个问题，我们提出了一种经济高效的方法，将注意力机制集成到实体识别过程中，并利用预训练参数实现有效定制。该框架在一个源自 Groningen Meaning Bank 语料库的 Kaggle 数据集上进行了评估，以更少的训练轮次取得了强劲的性能。这项工作通过提供一种在保持高准确率的同时降低基于 BERT 的 NER 系统训练成本的实用解决方案，为该领域做出了贡献。
引用
@article{arxiv.2505.01868,
title = {Positional Attention for Efficient BERT-Based Named Entity Recognition},
author = {Mo Sun and Siheng Xiong and Yuankai Cai and Bowen Zuo},
journal= {arXiv preprint arXiv:2505.01868},
year = {2025}
}