用于抑制放射术报告生成中幻觉先前检查的直接偏好优化
机器学习
2024-06-18 v2 计算与语言
计算机视觉与模式识别
摘要
近期生成式视觉语言模型（VLMs）在放射医学中的AI应用前景广阔，但VLMs也已知会产生幻觉、荒谬文本及其他不必要行为，浪费临床医生时间并可能危害患者安全。基于最近的直接偏好优化（DPO）工作，本文提出一种简单方法，通过抑制不受欢迎的生成来修改执行放射术报告生成的预训练VLMs的行为。我们将其应用于防止幻觉先前检查，解决放射术 chest X-ray 报告生成中长期存在的问题行为。在实验中，我们发现DPO微调实现了3.2-4.8倍的幻觉先前检查行数减少，同时保持临床准确性指标的模型性能。我们工作是已知的首个将DPO应用于医学VLMs的工作，提供了数据和计算高效的方式，以维持整体临床准确性的同时抑制问题行为。
引用
@article{arxiv.2406.06496,
title = {Direct Preference Optimization for Suppressing Hallucinated Prior Exams in Radiology Report Generation},
author = {Oishi Banerjee and Hong-Yu Zhou and Subathra Adithan and Stephen Kwak and Kay Wu and Pranav Rajpurkar},
journal= {arXiv preprint arXiv:2406.06496},
year = {2024}
}
备注
Added acknowledgemnts