GPT-4V在生物医学成像中的整体评估
图像与视频处理
2023-12-12 v1 人工智能
摘要
在本文中，我们进行了一项大规模评估，探究GPT-4V在生物医学图像分析中的能力和局限性。GPT-4V代表了计算机视觉领域人工通用智能（AGI）的突破，在生物医学领域有应用。我们评估了GPT-4V在16个医学成像类别中的表现，包括放射学、肿瘤学、眼科学、病理学等。任务包括模态识别、解剖定位、疾病诊断、报告生成和病灶检测。广泛的实验提供了对GPT-4V优势和劣势的见解。结果显示GPT-4V在模态和解剖识别方面熟练，但在疾病诊断和定位方面存在困难。GPT-4V在诊断报告生成方面表现出色，表明其具有强大的图像描述能力。虽然GPT-4V在生物医学成像AI方面前景广阔，但在临床部署之前需要进一步改进和验证。我们强调负责任地开发和测试，以实现生物医学AGI的可信集成。这项对GPT-4V在各种医学图像上的严格评估增进了对多模态大语言模型（LLM）的理解，并指导未来工作朝着有影响力的医疗应用发展。
引用
@article{arxiv.2312.05256,
title = {Holistic Evaluation of GPT-4V for Biomedical Imaging},
author = {Zhengliang Liu and Hanqi Jiang and Tianyang Zhong and Zihao Wu and Chong Ma and Yiwei Li and Xiaowei Yu and Yutong Zhang and Yi Pan and Peng Shu and Yanjun Lyu and Lu Zhang and Junjie Yao and Peixin Dong and Chao Cao and Zhenxiang Xiao and Jiaqi Wang and Huan Zhao and Shaochen Xu and Yaonai Wei and Jingyuan Chen and Haixing Dai and Peilong Wang and Hao He and Zewei Wang and Xinyu Wang and Xu Zhang and Lin Zhao and Yiheng Liu and Kai Zhang and Liheng Yan and Lichao Sun and Jun Liu and Ning Qiang and Bao Ge and Xiaoyan Cai and Shijie Zhao and Xintao Hu and Yixuan Yuan and Gang Li and Shu Zhang and Xin Zhang and Xi Jiang and Tuo Zhang and Dinggang Shen and Quanzheng Li and Wei Liu and Xiang Li and Dajiang Zhu and Tianming Liu},
journal= {arXiv preprint arXiv:2312.05256},
year = {2023}
}