PaDeLLM-NER：面向命名实体识别的大语言模型并行解码
计算与语言
2024-11-22 v5 人工智能
摘要
本研究旨在降低大语言模型（LLM）在命名实体识别（NER）任务中的生成延迟。LLM 高延迟的主要原因是顺序解码过程，该过程自回归地生成所有 NER 标签和提及，显著增加了序列长度。为此，我们提出了面向命名实体识别的大语言模型并行解码（PaDeLLM-NER），这是一种能够无缝集成到现有生成模型框架中的方法，无需额外的模块或架构修改。PaDeLLM-NER 允许同时解码所有提及，从而降低生成延迟。实验表明，PaDeLLM-NER 显著提高了推理速度，在英语和汉语数据集上比自回归方法快 1.76 至 10.22 倍。同时，其预测质量得以保持，在多个数据集上的表现与最先进水平（state-of-the-art）相当。
引用
@article{arxiv.2402.04838,
title = {PaDeLLM-NER: Parallel Decoding in Large Language Models for Named Entity Recognition},
author = {Jinghui Lu and Ziwei Yang and Yanjie Wang and Xuejing Liu and Brian Mac Namee and Can Huang},
journal= {arXiv preprint arXiv:2402.04838},
year = {2024}
}
备注
Accepted to Neurips2024