SkinGPT-4：一种基于视觉大语言模型的交互式皮肤病诊断系统
图像与视频处理
2023-06-09 v2 计算机视觉与模式识别
机器学习
摘要
皮肤及皮下疾病在全球非致命性疾病负担的主要成因中名列前茅，影响着相当大比例的人口。然而，皮肤病诊断领域面临三大显著障碍。首先，可对患者进行诊断的皮肤科医生短缺，尤其在农村地区。其次，准确解读皮肤病图像是一项相当大的挑战。最后，生成患者友好的诊断报告通常是皮肤科医生耗时且劳动密集的任务。为应对这些挑战，我们推出 SkinGPT-4，这是全球首个由先进视觉大语言模型驱动的交互式皮肤病诊断系统。SkinGPT-4 利用微调版的 MiniGPT-4，其训练数据包含大量皮肤病图像（共 52,929 张公开与专有图像）以及临床概念与医生笔记。我们设计了两步训练流程，使 SkinGPT 能以自然语言表述皮肤病图像中的医学特征，并对皮肤病类型作出准确诊断。借助 SkinGPT-4，用户可上传自己的皮肤照片进行诊断，系统能自主评估图像、识别皮肤状况的特征与类别、开展深入分析，并提供交互式治疗建议。同时，SkinGPT-4 的本地部署能力及对用户隐私的重视，也使其成为寻求可靠且精确诊断皮肤疾病患者的诱人选择。为证明 SkinGPT-4 的鲁棒性，我们在 150 个真实病例上进行了定量评估，这些病例由认证皮肤科医生独立审阅，结果表明 SkinGPT-4 能提供准确的皮肤病诊断。
引用
@article{arxiv.2304.10691,
title = {SkinGPT-4: An Interactive Dermatology Diagnostic System with Visual Large Language Model},
author = {Juexiao Zhou and Xiaonan He and Liyuan Sun and Jiannan Xu and Xiuying Chen and Yuetan Chu and Longxi Zhou and Xingyu Liao and Bin Zhang and Xin Gao},
journal= {arXiv preprint arXiv:2304.10691},
year = {2023}
}