MALADE：基于 LLM 代理与检索增强生成的药物安全监测编排系统
计算与语言
2024-08-06 v1 人工智能
信息检索
机器学习
多智能体系统
定量方法
摘要
在大型语言模型（LLM）时代，凭借其卓越的文本理解与生成能力，为开发可信赖的医学知识综合、提取与总结方法带来了前所未有的机遇。本文聚焦于药物安全监测（Pharmacovigilance, PhV）问题，其意义在于从医学文献、临床记录和药品标签等多样化文本来源识别不良药物事件（Adverse Drug Events, ADEs），但该任务受制于药物及结果术语变体，ADE 描述常被埋没在大量叙述性文本之中。我们提出 MALADE，这是第一个有效的、基于 LLM 的检索增强生成技术，用于从药品标签数据中提取 ADE。该技术通过为 LLM 查询增添从文本资源中提取的相关信息，并指示 LLM 生成符合增强数据的响应。MALADE 是一种通用的、与 LLM 无关的架构，其独特能力在于：（1）利用多种外部资源，包括医学文献、药品标签及 FDA 工具（如 OpenFDA 药品信息 API）；（2）以结构化格式提取药物-结果关联，并标明关联强度；（3）为已建立的关联提供解释。使用 GPT-4 Turbo 或 GPT-4o 实例化并搭配 FDA 药品标签数据，MALADE 在针对 OMOP Ground Truth 表中 ADEs 的评估中表现出 0.90 的ROC曲线下面积。我们的实现基于 Langroid 多代理 LLM 框架，可在 https://github.com/jihyechoi77/malade 查看。
引用
@article{arxiv.2408.01869,
title = {MALADE: Orchestration of LLM-powered Agents with Retrieval Augmented Generation for Pharmacovigilance},
author = {Jihye Choi and Nils Palumbo and Prasad Chalasani and Matthew M. Engelhard and Somesh Jha and Anivarya Kumar and David Page},
journal= {arXiv preprint arXiv:2408.01869},
year = {2024}
}
备注
Paper published at Machine Learning for Healthcare 2024 (MLHC'24)