大语言模型投票：面向罕见病识别的提示方法
计算与语言
2024-01-24 v3 人工智能
摘要
生成式大语言模型（LLMs）的出现凸显了对准确高效提示方法的需求。LLMs 常应用于少样本学习（FSL）场景，即以极少的训练数据执行任务。FSL 已在包括健康人工智能在内的许多人工智能（AI）子领域流行。罕见病影响一小部分人群。由于数据可用性有限，从临床记录中识别罕见病本质上需要 FSL 技术。人工数据收集和标注既昂贵又耗时。本文提出模型投票提示（MVP），一种用于提升 FSL 设置下 LLM 查询性能的灵活提示方法。MVP 通过提示众多 LLM 执行相同任务，并对所得输出进行多数投票来工作。该方法在单样本罕见病识别与分类任务上取得了优于集成中任一单独模型的结果。我们还发布了一个新颖的 FSL 罕见病数据集，供签署 MIMIC-IV 数据使用协议（DUA）的人员使用。此外，在使用 MVP 时，每个模型被提示多次，大幅增加了人工标注所需时间，为此我们评估了使用 JSON 实现生成式 LLM 评估自动化的可行性。
引用
@article{arxiv.2308.12890,
title = {Large Language Models Vote: Prompting for Rare Disease Identification},
author = {David Oniani and Jordan Hilsman and Hang Dong and Fengyi Gao and Shiven Verma and Yanshan Wang},
journal= {arXiv preprint arXiv:2308.12890},
year = {2024}
}