RetrieveAll：基于大型语言模型的多语言命名实体识别框架
计算与语言
2025-05-27 v1 人工智能
摘要
大型语言模型的兴起为高资源语言的命名实体识别（NER）带来了显著的性能突破，但在低中资源语言方面仍有大幅提升空间。现有多语言NER方法在多语言适应过程中面临严重的语言干扰，表现为不同语言之间的特征冲突以及高资源语言对低资源语言特征的竞争性抑制。尽管为每种语言训练专用模型可以缓解此类干扰，但其缺乏可扩展性且在实际应用中产生过高的计算成本。为解决这一问题，我们提出了RetrieveAll，一个基于动态LoRA的通用多语言NER框架。该框架解耦了不同语言间的任务特定特征，并展示了高效的动态适应能力。此外，我们引入了一种跨粒度知识增强方法，在不依赖外部资源的情况下充分利用数据的内在潜力。通过利用分层提示机制引导知识注入，该方法将范式从“提示引导推理”推进至“提示驱动学习”。实验结果表明，RetrieveAll优于现有基线；在PAN-X数据集上，其实现了12.1%的平均F1提升。
引用
@article{arxiv.2505.19128,
title = {RetrieveAll: A Multilingual Named Entity Recognition Framework with Large Language Models},
author = {Jin Zhang and Fan Gao and Linyu Li and Yongbin Yu and Xiangxiang Wang and Nyima Tashi and Gadeng Luosang},
journal= {arXiv preprint arXiv:2505.19128},
year = {2025}
}