探测预训练自回归语言模型在命名实体类型判定与识别中的能力
计算与语言
2022-04-28 v2
摘要
尽管语言模型在命名实体识别（NER）上取得了令人印象深刻的成果，但它们对多样化文本体裁、不断增长的实体类型集以及新实体的泛化仍是一项挑战。在每种新情况下收集数千条标注用于训练或微调是昂贵且耗时的。相比之下，人类在给出一些简单指令后就能轻易识别命名实体。受此启发，我们挑战对大型数据集的依赖，并在元学习设置中研究用于 NER 的预训练语言模型。首先，我们在零样本迁移场景中测试命名实体类型判定（NET）。然后，我们在推理时给出少量示例来执行 NER。我们提出了一种在仅能访问预训练模型时选择已见与稀有/未见名字的方法，并报告在这些组上的结果。结果显示：作为元学习器的自回归语言模型可以相当好地执行 NET 和 NER，尤其是对于规则或已见的名字；当某一实体类型常出现名字不规则时，这可成为有效的可利用线索；含有对模型而言陌生词汇的名字对结果有最负面的影响；在少样本 NER 中，模型似乎更多地依赖名字而非上下文线索。
引用
@article{arxiv.2108.11857,
title = {Probing Pre-trained Auto-regressive Language Models for Named Entity Typing and Recognition},
author = {Elena V. Epure and Romain Hennequin},
journal= {arXiv preprint arXiv:2108.11857},
year = {2022}
}
备注
Accepted for publication in LREC2022