利用深度学习和微调大语言模型的集成提升实体识别：来自多个来源的不良事件抽取案例研究
计算与语言
2024-06-27 v1 人工智能
摘要
从文本数据中抽取新冠疫苗相关不良事件（AE）对于监测和分析疫苗安全性至关重要。传统深度学习模型擅长学习复杂的特征表示和序列依赖关系，但通常需要大量标记数据。相比之下，大语言模型（LLMs）在理解上下文信息方面表现出色，但在命名实体识别任务上表现不稳定，可能是由于其广泛但非特定训练所致。本研究旨在评估 LLMs 和传统深度学习模型在 AE 抽取中的有效性，并评估这些模型集成对性能的影响。本研究利用来自 VAERS（n=621）、Twitter（n=9,133）和 Reddit（n=131）的报告和帖子作为语料库。我们的目标是抽取三类实体："疫苗"、"注射"和"ae"。我们探索并微调（除 GPT-4 外）多种 LLMs，包括 GPT-2、GPT-3.5、GPT-4 和 Llama-2，以及传统深度学习模型如 RNN 和 BioBERT。为提升性能，我们创建了三个性能最佳模型的集成。对于评估，我们使用严格和宽松的 F1 分数评估每种实体类型的性能，并使用微平均 F1 分数评估整体性能。集成模型在 "疫苗"、"注射"和"ae"上的严格 F1 分数分别为 0.878、0.930 和 0.925，整体微平均分为 0.903。总之，本研究表明，对集合成细化的传统深度学习模型和 LLMs 在抽取 AE 相关信息方面的有效性和稳健性。该研究为生物医学自然语言处理的进步提供了宝贵洞见，为从文本数据中提高 AE 抽取水平（如药物警戒和公共卫生监测）提供了启发。
引用
@article{arxiv.2406.18049,
title = {Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources},
author = {Yiming Li and Deepthi Viswaroopan and William He and Jianfu Li and Xu Zuo and Hua Xu and Cui Tao},
journal= {arXiv preprint arXiv:2406.18049},
year = {2024}
}