从 BERT 到 T5：命名实体识别研究
计算与语言
2026-05-19 v1
摘要
命名实体识别（NER）一直是现代 NLP 应用中必不可少的预备步骤。本报告重点研究在两个预训练模型上微调以实现 NER 任务：（i）带有简单分类头的纯编码器模型（BERT），以及（ii）使用少样本提示的序列到序列模型（T5）。在原始 7 类标签和 3 类简化标签方案下，BERT 的训练损失采用了加权交叉熵，而 T5 则通过两种验证策略进行微调。报告还进行了不同超参数的消融研究。此外，相关分析为 BERT 的常见错误及两个模型的性能提供了有价值的见解。基于多项性能指标，本报告旨在比较上述两种架构并探索它们在序列标注任务中的能力，为进一步的实际用例奠定基础。
引用
@article{arxiv.2605.18462,
title = {From BERT to T5: A Study of Named Entity Recognition},
author = {Mei Jia},
journal= {arXiv preprint arXiv:2605.18462},
year = {2026}
}
备注
11 pages, 9 figures