面向生物医学命名实体识别的LLM即时定义增强
计算与语言
2024-04-24 v2
摘要
尽管LLM具有通用能力，但在生物医学NER任务上仍存在困难，因为存在专业术语且缺乏训练数据。在这项工作中，我们旨在通过一种新的知识增强方法，在有限数据设置下提高LLM在生物医学NER上的性能，该方法即时整合相关概念的定义。在此过程中，为了提供知识增强的测试平台，我们对提示策略进行了全面探索。实验表明，定义增强对开源和闭源LLM都有用。例如，它使GPT-4在所有六个测试数据集上的性能（F1）平均相对提升15%。我们进行了广泛的消融和分析，以证明性能提升源于添加了相关的定义知识。我们发现，仔细的提示策略也能提高LLM性能，使其在少样本设置中优于微调的语言模型。为了促进未来的研究，我们在https://github.com/allenai/beacon发布了代码。
引用
@article{arxiv.2404.00152,
title = {On-the-fly Definition Augmentation of LLMs for Biomedical NER},
author = {Monica Munnangi and Sergey Feldman and Byron C Wallace and Silvio Amir and Tom Hope and Aakanksha Naik},
journal= {arXiv preprint arXiv:2404.00152},
year = {2024}
}
备注
To appear at NAACL 2024 (Main)