增强 GPT-4V 的医学任务性能：关于提示工程策略的综合研究
计算与语言
2023-12-13 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
OpenAI 最新的大型视觉-语言模型（LVLM）GPT-4V(ision) 因其在医学应用中的潜力而引起了相当大的兴趣。尽管前景广阔，但近期研究和内部评估均凸显了其在专业医学任务中的表现不佳。本文探索了 GPT-4V 在医学领域的能力边界，特别是在处理来自内窥镜检查、CT 扫描和 MRI 等的复杂影像数据方面。利用开源数据集，我们评估了其基础能力，识别出需要大幅增强的领域。我们的研究强调提示工程，这是一种常被低估的改善 AI 响应能力的策略。通过迭代测试，我们优化了模型的提示，显著提高了其在医学影像中的解释准确性和相关性。基于我们的综合评估，我们提炼出 10 种有效的提示工程技术，每种技术都强化了 GPT-4V 的医学洞察力。这些系统性的增强有助于从 GPT-4V 获得更可靠、更精确且更具临床价值的见解，从而提升其在关键医疗环境中的可操作性。我们的发现对于在医学中应用 AI 的人员至关重要，为发挥 GPT-4V 的全部诊断潜力提供了清晰、可操作的指导。
引用
@article{arxiv.2312.04344,
title = {Enhancing Medical Task Performance in GPT-4V: A Comprehensive Study on Prompt Engineering Strategies},
author = {Pengcheng Chen and Ziyan Huang and Zhongying Deng and Tianbin Li and Yanzhou Su and Haoyu Wang and Jin Ye and Yu Qiao and Junjun He},
journal= {arXiv preprint arXiv:2312.04344},
year = {2023}
}