中文

FsPONER:面向领域特定场景的命名实体识别少样本提示优化

计算与语言 2025-04-02 v2 信息检索

摘要

大型语言模型(LLM)为命名实体识别(NER)任务提供了新路径。与微调方法相比,LLM驱动的提示方法无需训练,节省大量计算资源,且仅依赖少量标注数据。先前研究在通用NER基准上实现了与完全监督的BERT微调方法相当的性能。然而,尚无研究探讨LLM基于少样本学习在领域特定场景中的效率。为填补这一空白,本文引入FsPONER,一种用于优化少样本提示的新方法,并在领域特定NER数据集上评估其性能,聚焦工业制造与维护领域,同时使用多个LLM——GPT-4-32K、GPT-3.5-Turbo、LLaMA 2-chat及Vicuna。FsPONER包含基于随机抽样、TF-IDF向量以及两者结合的三种少样本选择方法。我们将这些方法与通用GPT-NER方法进行比较,随着少样本示例数量的增加评估其最佳NER性能,并对比在微调BERT和LLaMA 2-chat上的表现。在所考虑的实际场景中数据稀缺的情况下,FsPONER采用TF-IDF方法在F1分数上超过微调模型约10%。

关键词

引用

@article{arxiv.2407.08035,
  title  = {FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios},
  author = {Yongjian Tang and Rakebul Hasan and Thomas Runkler},
  journal= {arXiv preprint arXiv:2407.08035},
  year   = {2025}
}

备注

accepted in the main track at the 27th European Conference on Artificial Intelligence (ECAI-2024)