基于 BERT-CRF 的葡萄牙语命名实体识别
计算与语言
2020-02-28 v2 信息检索
机器学习
摘要
近期使用神经网络的语言表示进展，使得将训练模型的内部状态迁移到下游自然语言处理任务（如命名实体识别（NER）和问答）成为可能。已有研究表明，利用预训练语言模型可提升许多任务的整体性能，并且在标注数据稀缺时极为有益。本文中，我们训练葡萄牙语 BERT 模型，并采用 BERT-CRF 架构用于葡萄牙语的 NER 任务，将 BERT 的迁移能力与 CRF 的结构化预测相结合。我们探索了 BERT 模型基于特征和微调的训练策略。我们的微调方法在 HAREM I 数据集上取得了新的 SOTA 结果，在选择性场景（5 个 NE 类）上 F1 分数提升 1 点，在总体场景（10 个 NE 类）上提升 4 点。
引用
@article{arxiv.1909.10649,
title = {Portuguese Named Entity Recognition using BERT-CRF},
author = {Fábio Souza and Rodrigo Nogueira and Roberto Lotufo},
journal= {arXiv preprint arXiv:1909.10649},
year = {2020}
}