基于 RadPrompt 方法的规则驱动洞察能否提升放射科报告分类中的 LLM 性能？

开发能够从胸片 X 光检测病灶的影像模型需要大量数据和时间，且需要监督才能达到最佳性能。相比之下，来自放射科报告的标签可作为远端监督信号使用，因为这些报告是临床实践中常规生成的。尽管广泛应用，当前基于规则的方法在标签提取方面依赖大量规则集，且对语法变异鲁棒性有限。为缓解这些限制，我们引入了 RadPert，这是一个集成了不确定性感知信息模式并简化规则集的规则系统，以提升性能。此外，我们开发了 RadPrompt，这是一种多轮提示策略，利用 RadPert 增强大型语言模型的零样本预测能力，在加权平均 F1 分数上显著优于 GPT-4 Turbo。最重要的是，RadPrompt 超越了其底层模型，展示了大型语言模型与规则模型之间的协同潜力。我们在两个英文语料库上进行评估：MIMIC-CXR 金标准测试集和来自剑桥大学医院收集的金标准数据集。