蒸馏大语言模型用于生物医学知识抽取：以药物不良事件为例
计算与语言
2023-07-14 v1 人工智能
摘要
大语言模型（LLMs），如 GPT-4，已在包括健康应用在内的广泛任务中展现出卓越能力。在本文中，我们研究如何利用 LLMs 扩展生物医学知识整理工作。我们发现，尽管 LLMs 已具备对生物医学文本进行结构化的不错能力，但通过自监督学习蒸馏到任务特定的学生模型中，相比开箱即用的 LLMs 可获得显著提升，并具备成本、效率及白盒模型访问等额外优势。我们以药物不良事件（ADE）抽取这一改善医疗的重要领域为案例进行研究。在标准 ADE 抽取评测中，经 GPT-3.5 蒸馏的 PubMedBERT 模型在未使用任何标注数据的情况下达到了与有监督最优模型相当的准确率。尽管参数量小逾 1000 倍，该蒸馏模型在 F1 上超越其教师模型 GPT-3.5 逾 6 个绝对点，超越 GPT-4 逾 5 个绝对点。关于蒸馏模型选择（如 PubMedBERT 与 BioGPT）及 ADE 抽取架构的消融研究为生物医学知识抽取的最佳实践提供了启示。蒸馏在其他标准生物医学知识抽取任务（如基因-疾病关联和受保护健康信息）中也获得了类似提升，进一步说明了该方法的潜力。
引用
@article{arxiv.2307.06439,
title = {Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events},
author = {Yu Gu and Sheng Zhang and Naoto Usuyama and Yonas Woldesenbet and Cliff Wong and Praneeth Sanapathi and Mu Wei and Naveen Valluri and Erika Strandberg and Tristan Naumann and Hoifung Poon},
journal= {arXiv preprint arXiv:2307.06439},
year = {2023}
}