通过指令调优基于词嵌入的检索增强大语言模型改进少样本跨域命名实体识别
机器学习
2025-05-13 v1 信息检索
摘要
少样本跨域 NER 是利用数据丰富的源域知识在数据稀缺的目标域上执行实体识别的过程。大多数之前的 SOTA 方法使用预训练语言模型（PLMs）进行跨域 NER。然而，这些模型通常是领域特定的。为了成功地将这些模型用于新的目标域，我们需要修改模型架构或使用新域的数据进行模型微调。这两种方法都会为每个目标域创建全新的 NER 模型，这在实践中是不可行的。最近，一些工作尝试使用 LLM 来解决少样本跨域 NER。然而，大多数方法要么过于昂贵，要么难以遵循 LLM 提示指令。在本文中，我们提出 IF-WRANER（用于命名实体识别的指令调优基于词嵌入的检索增强大语言模型），一个用于 NER 任务的检索增强 LLM。通过 LLM 微调期间使用的正则化技术以及在检索 in-prompt 示例时采用词级嵌入而非句级嵌入，IF-WRANER 能够超越之前的 SOTA 少样本跨域 NER 方法。在开源 CrossNER 数据集上进行了基准测试，性能相比之前的 SOTA 模型提升了超过 2% 的 F1 分数。该模型已部署到企业的多个客服领域。通过 IF-WRANER 进行准确的实体预测有助于将客户引导至自动化工作流，从而将升级到人工代理的情况减少近 15%，为公司每年节省数百万美元。
引用
@article{arxiv.2411.00451,
title = {Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model},
author = {Subhadip Nandi and Neeraj Agrawal},
journal= {arXiv preprint arXiv:2411.00451},
year = {2025}
}