选择与合并：面向可适应且可扩展的命名实体识别
计算与语言
2025-07-01 v1
摘要
监督式微调（SFT）广泛用于将大型语言模型（LLM）与信息抽取（IE）任务（如命名实体识别，NER）对齐。然而，对此类细粒度标签进行标注并训练领域特定模型成本较高。现有工作通常在多个领域上训练统一模型，但此类方法缺乏适应性和可扩展性，因为并非所有训练数据都对目标领域有益，同时扩展已训练模型也颇具挑战。我们提出了 SaM 框架，能够在推理阶段动态选择并合并专家模型。具体而言，对于给定目标领域，我们根据（i）目标领域与其他领域的相似性以及（ii）对抽样实例的表现，选择在现有领域上预训练的领域特定专家。随后，将这些专家合并以创建针对目标领域优化的任务特定模型。通过动态合并对目标领域有益的专家，我们在各种领域之间实现了更好的泛化，无需额外训练。此外，专家可以方便地添加或移除，从而实现高度可扩展性。在多个基准数据集上的大量实验表明，我们的框架有效且高效，平均超过统一模型 10%。我们进一步提供了潜在改进见解、实用经验以及框架的扩展方案。
引用
@article{arxiv.2506.22813,
title = {Selecting and Merging: Towards Adaptable and Scalable Named Entity Recognition with Large Language Models},
author = {Zhuojun Ding and Wei Wei and Chenghao Fan},
journal= {arXiv preprint arXiv:2506.22813},
year = {2025}
}