皮肤疾病检测与分类的多模态方法

据美国政府统计局 (PBS) 统计，近三分之一的美国人无法获得基本医疗服务，另有四分之一的人拖延就医以避免医疗费用。因此，即使疾病在皮肤上表现出明显的物理症状，也可能未被诊断和治疗。随着 AI 的兴起，自我诊断和疾病识别前景更加光明；尽管如此，现有方法存在缺乏大规模患者数据库和方法陈旧的问题，导致研究仅限于少数疾病或模态。本研究包含可获取且易于访问的患者信息（图像和文本），用于对 26 种皮肤疾病类型进行分类，新构建的数据集包括皮肤疾病图像 (3.7 万) 和相关患者叙述文本。使用该数据集，我们建立了各种图像模型的基线，这些模型超越了现有方法。最初，Resnet-50 模型仅能实现 70% 的准确率，但经过various优化技术，准确率提高到 80%。此外，本研究提出了一种新颖的微调策略用于序列分类大型语言模型 (Large Language Model, LLM)，链式选项 (Chain of Options)，该方法在训练期间将复杂推理任务分解为中间步骤，而非在推理时进行。结合链式选项和图像模型的初步疾病推荐，本方法在仅给定患者患病部位的图像以及患者症状描述（如瘙痛或头晕）时，实现了 91% 的业界最佳准确率。通过本研究，可以更早诊断皮肤疾病，临床医生可与深度学习模型合作，提供更准确的诊断，从而提升生活质量并拯救生命。