MpoxVLM：用于诊断 Mpox 病毒感染皮肤病变的视觉-语言模型

在 COVID-19 大流行之后，随着气候变化的加速，新发传染病，特别是源于人畜共患溢出的传染病，仍然是全球性威胁。Mpox（由猴痘病毒引起）是人畜共患感染的一个典型例子，其经常被漏诊，特别是当其皮疹经历各个发展阶段时，使得在不同人群的不同表现中进行检测变得复杂。2024 年 8 月，世界卫生组织总干事第二次宣布 Mpox 疫情为国际关注的突发公共卫生事件。尽管已经部署了深度学习技术从皮肤病变图像中检测疾病，但由于缺乏开源的 Mpox 皮肤病变图像、多模态临床数据和专门的训练流程，目前仍然缺乏一个稳健且公开可用的 Mpox 诊断基础模型。为了填补这一空白，我们提出了 MpoxVLM，一种通过分析皮肤病变图像和患者临床信息来检测 Mpox 的视觉-语言模型（VLM）。MpoxVLM 集成了 CLIP 视觉编码器、用于皮肤病变的增强型 Vision Transformer (ViT) 分类器以及 LLaMA-2-7B 模型，并在我们最新发布的 Mpox 皮肤病变数据集中的视觉指令跟随问答对上进行了预训练和微调。我们的工作在 Mpox 检测中达到了 90.38% 的准确率，为在抗击 Mpox 中提高早期诊断准确性提供了一条有前景的途径。