面向饮食补充剂的大语言模型检索增强多任务信息提取框架（RAMIE）
计算与语言
2025-03-04 v1 人工智能
计算工程、金融与科学
摘要
\textbf{目标}：本研究旨在开发一个先进的多任务大语言模型（LLM）框架，从临床记录中提取关于饮食补充剂（DS）的多种信息。\textbf{方法}：我们采用四个核心DS信息提取任务——命名实体识别（NER：2,949个临床句子）、关系提取（RE：4,892个句子）、三元组提取（TE：2,949个句子）和用途分类（UC：2,460个句子）作为多任务。我们引入了一种新的检索增强多任务信息提取（RAMIE）框架，包括：1）采用任务特定提示进行指令微调；2）以提高存储效率和降低训练成本训练多个任务的LLM；3）通过检索增强生成（RAG）技术从训练集中检索相似示例。我们将RAMIE的性能与仅进行指令微调的LLM进行比较，并进行消融研究以评估多任务学习和RAG对改进多任务性能的贡献。\textbf{结果}：在RAMIE框架的帮助下，Llama2-13B在NER任务上实现了87.39的F1分数（提升3.51%），在RE任务上表现突出，F1分数达到93.74（提升1.15%）。在TE任务上，Llama2-7B得分79.45（提升14.26%），MedAlpaca-7B在UC任务上取得了最高的93.45的F1分数（提升0.94%）。消融研究表明，虽然多任务学习在效率上有轻微的性能权衡，但RAG显著提升了整体准确性。\textbf{结论}：本研究提出了一种新的RAMIE框架，显著提高了从临床记录中提取DS相关数据的多任务信息提取性能。该框架可 potentially 应用于其他领域。
引用
@article{arxiv.2411.15700,
title = {RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements},
author = {Zaifu Zhan and Shuang Zhou and Mingchen Li and Rui Zhang},
journal= {arXiv preprint arXiv:2411.15700},
year = {2025}
}