可解释、多模态的伤口感染分类：基于生成式标题增强的图像方法
计算机视觉与模式识别
2025-02-28 v1 人工智能
摘要
糖尿病足溃疡（DFU）中的感染可能导致严重并发症，包括组织坏死和截肢，强调了准确、及时诊断的必要性。先前的机器学习方法仅通过分析伤口图像来识别感染，未利用医疗笔记等额外元数据。本研究旨在通过引入合成标题增强检索伤口感染检测（SCARWID）框架来改进感染检测，该框架利用合成文本描述来增强DFU图像。SCARWID由两个组件组成：（1）Wound-BLIP，一个在GPT-4o生成的描述上微调的视觉-语言模型（VLM），用于从图像合成一致的标题；以及（2）一个图像-文本融合模块，使用交叉注意力从图像及其对应的Wound-BLIP标题中提取跨模态嵌入。感染状态通过从标记的支持集中检索top-k相似项来确定。为增强训练数据的多样性，我们利用潜在扩散模型生成额外的伤口图像。因此，SCARWID优于最先进模型，在伤口感染分类中分别达到平均灵敏度0.85、特异性0.78和准确率0.81。将生成的标题与伤口图像和感染检测结果一同展示，增强了可解释性和可信度，使护士能够将SCARWID的输出与他们的医学知识相一致。这在伤口记录不可用或协助可能难以识别伤口感染视觉属性的新手护士时尤其有价值。
引用
@article{arxiv.2502.20277,
title = {Explainable, Multi-modal Wound Infection Classification from Images Augmented with Generated Captions},
author = {Palawat Busaranuvong and Emmanuel Agu and Reza Saadati Fard and Deepak Kumar and Shefalika Gautam and Bengisu Tulu and Diane Strong},
journal= {arXiv preprint arXiv:2502.20277},
year = {2025}
}