用于根据 CIViC 证据模型对医学论文进行标记的 LLM
计算与语言
2024-07-08 v1
摘要
我们将序列分类问题 CIViC Evidence 引入医学 NLP 领域。CIViC Evidence 指的是将临床证据标签分配给已检查 various 组合的基因变异、癌症类型和治疗方法的科学论文摘要的多标签分类问题。我们使用不同的语言模型来解决 CIViC Evidence：我们在 CIViC Evidence 数据集上对 BERT 和 RoBERTa 的预训练检查点进行微调，并挑战其性能于具有特定领域文本预训练模型。就此而言，我们发现 BiomedBERT 和 BioLinkBERT 在 CIViC Evidence 上优于 BERT（在加权 F1 分数上分别提高了 0.8% 和 0.9%）。所有基于 Transformer 的模型在与基于 bigram tf-idf 分数的 logistic 回归模型相比时表现出明显的性能优势（F1 分数提高 1.5%~2.7%）。我们将上述 BERT 类模型与 OpenAI 的 GPT-4 在 few-shot 设置下进行比较（在我们原始测试数据集的小子集上），表明在无需额外 prompt-engineering 或微调的情况下，GPT-4 在 CIViC Evidence 上的表现不如我们六个微调模型（加权 F1 分数为66.1%，而最佳微调模型为71.8%）。然而，性能在 CIViC Evidence 评估基准（67.7% 加权 F1 分数）上与 logistic 回归模型接近。
引用
@article{arxiv.2407.04466,
title = {Using LLMs to label medical papers according to the CIViC evidence model},
author = {Markus Hisch and Xing David Wang},
journal= {arXiv preprint arXiv:2407.04466},
year = {2024}
}