大型语言模型在标记级临床命名实体识别中表现不佳

大型语言模型 (LLMs) 在各个领域取得了显著进展，尤其是在医疗保健领域被广泛应用于各种应用场景。其价值尤其在罕见疾病领域，这些疾病的数据稀缺性、复杂性和特殊性带来了巨大的挑战。在临床领域，命名实体识别 (NER) 是一项关键任务，在从临床文本中提取相关信息方面发挥着重要作用。尽管大型语言模型前景广阔，当前的研究主要集中在文档级 NER，即在整个文档的更一般语境中识别实体，而不提取其精确位置。此外，一些研究努力尝试将 ChatGPT 应用于标记级 NER。然而，在临床文本上使用标记级 NER 以及采用本地开源 LLM 时，仍存在显著的研究空白。本研究旨在填补这一空白，通过调查专有型和本地大型语言模型在标记级临床 NER 中的有效性。本文通过一系列实验，包括零样本提示、少样本提示、检索增强生成 (RAG) 和指令微调，深入探讨了这些模型的能力。我们的探索揭示了大型语言模型在标记级 NER 中的固有挑战，尤其是在罕见疾病语境下，并提出了可能的改进方案，以应用于医疗保健领域。这项研究缩小了医疗保健信息学中的一个重要差距，为更精细地应用于医疗保健领域的大型语言模型提供了见解。