基于凸包的视觉语言模型医学诊断不确定性分析
计算机视觉与模式识别
2024-12-03 v1 人工智能
摘要
近年来，视觉语言模型（VLM）已被应用于医疗、教育、金融和制造业等领域，取得显著成绩。然而，关于VLM一致性和不确定性的关注仍然存在，尤其是在医疗等关键应用领域，这类应用需要高度的信任和可靠性。本文提出了一种新方法，通过对医疗应用中的视觉问答（VQA）使用凸包方法来评估VLM响应的不确定性。选取LLM-CXR模型作为所使用的医学VLM，以不同温度设置（0.001、0.25、0.50、0.75和1.00）生成给定提示的响应。根据结果，LLM-CXR VLM在较高温度设置下表现出较高不确定性。实验结果强调了VLM响应中不确定性的重要性，尤其是在医疗应用领域。
引用
@article{arxiv.2412.00056,
title = {Improving Medical Diagnostics with Vision-Language Models: Convex Hull-Based Uncertainty Analysis},
author = {Ferhat Ozgur Catak and Murat Kuzlu and Taylor Patrick},
journal= {arXiv preprint arXiv:2412.00056},
year = {2024}
}
备注
15 pages