面向复杂结构化医学任务的本地大语言模型
计算与语言
2023-08-04 v1 人工智能
摘要
本文提出了一种将大语言模型（LLMs）的语言推理能力与本地训练优势相结合的方法，以应对复杂的领域特定任务。具体而言，作者通过从病理报告中提取结构化疾病编码来展示其方法。所提方法利用本地LLMs，可微调以响应特定的生成式指令并提供结构化输出。作者收集了超过15万份未加筛选的手术病理报告数据集，包含大体描述、最终诊断和疾病编码。他们训练了包括LLaMA、BERT和LongFormer在内的不同模型架构并评估了其性能。结果表明，即便在精度极度降低的情况下，基于LLaMA的模型在所有评估指标上均显著优于BERT风格模型。LLaMA模型在大型数据集上表现尤为出色，展示了其处理复杂多标签任务的能力。总体而言，本工作提出了一种利用LLMs在可及硬件上执行领域特定任务的有效方法，在需要复杂数据提取与分类的医学领域具有潜在应用价值。
引用
@article{arxiv.2308.01727,
title = {Local Large Language Models for Complex Structured Medical Tasks},
author = {V. K. Cody Bumgardner and Aaron Mullen and Sam Armstrong and Caylin Hickey and Jeff Talbert},
journal= {arXiv preprint arXiv:2308.01727},
year = {2023}
}
备注
12 pages, Preprint of an article submitted for consideration in Pacific Symposium on Biocomputing \c{opyright} 2024 copyright World Scientific Publishing Company https://www.worldscientific.com/