评估用于俄罗斯文化新闻文本的命名实体识别模型：从 BERT 到 LLM
计算与语言
2025-06-04 v1 人工智能
信息检索
摘要
本文探讨了在涉及文化事件的俄罗斯新闻文本这一专门领域内，针对人名的命名实体识别 (NER) 的挑战。该研究利用了独特的 SPbLitGuide 数据集，这是 1999 年至 2019 年间圣彼得堡事件公告的集合。本文对多种 NER 模型进行了比较评估，包括基于 Transformer 的成熟架构（如 DeepPavlov、RoBERTa 和 SpaCy），以及最近的大型语言模型 (LLM)（包括 GPT-3.5、GPT-4 和 GPT-4o）。主要发现强调，当提供特定的 JSON 输出提示时，GPT-4o 表现出卓越的性能，实现了 0.93 的 F1 分数。此外，GPT-4 展示了最高的精确率，达到 0.99。该研究有助于更深入地理解当前 NER 模型在文化遗产领域应用于像俄语这样形态丰富的语言时的能力和局限性，为研究人员和从业者提供了见解。使用 GPT-4.1（2025 年 4 月）的后续评估在简单和结构化提示下均实现了 F1=0.94，证明了跨模型系列的快速进展和简化的部署要求。
引用
@article{arxiv.2506.02589,
title = {Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM},
author = {Maria Levchenko},
journal= {arXiv preprint arXiv:2506.02589},
year = {2025}
}