语言模型在医学领域100%少样本命名实体识别上尚有何种距离
计算与语言
2024-05-07 v2
摘要
语言模型(LMs)近期的进展催生了诸如小语言模型(如T5)与大语言模型(如GPT-4)等强大模型。这些模型在广泛任务中展现出卓越能力,例如通用领域的命名实体识别(NER)。(我们将SLMs定义为相较于GPT-3/3.5/4等模型参数量更少的预训练模型,如T5、BERT等。)然而,它们在医学领域的效能仍不确定,且鉴于该领域的特殊性,医学NER的性能始终需要高准确度。本文旨在提供一项透彻调研,比较LMs在医学少样本NER中的表现,并回答“语言模型距离医学领域100%少样本NER尚有何种距离”,进而探索一种有效的实体识别器以帮助提升NER性能。基于我们对2018至2023年间16个NER模型开展的广泛实验,我们的发现清晰表明:在提供合适示例与恰当逻辑框架的条件下,LLMs在少样本医学NER任务中优于SLMs。尽管LLMs在少样本医学NER任务中整体占优,但需注意它们仍面临若干挑战,如误识别、错误模板预测等。基于先前发现,我们引入一种简单而有效的方法称为\textsc{RT}(检索与思考),其充当检索器以寻找相关示例,并充当思考器以采用逐步推理过程。实验结果显示,我们提出的\textsc{RT}框架在两个公开医学基准数据集上显著优于强开源基线。
引用
@article{arxiv.2307.00186,
title = {How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain},
author = {Mingchen Li and Rui Zhang},
journal= {arXiv preprint arXiv:2307.00186},
year = {2024}
}
备注
Published as a journal paper at Journal of the American Medical Informatics Association (JAMIA). arXiv admin note: text overlap with arXiv:2305.18624