FT-ARM：面向压疮严重程度分类的细调式自省多模态语言模型
计算机视觉与模式识别
2025-10-30 v1 人工智能
摘要
压疮(PU)是一种严重且发病率高的健康问题。准确分类 PU 严重程度(Ⅰ-Ⅳ期) 对正确处理至关重要,但由于视觉差异微妙且主观解释容易导致临床医生间结果存在变异性。先前基于卷积神经网络(CNN)和视觉Transformer(ViT)的 AI 方法虽取得了良好准确率,但提供的解释性有限。我们提出了 FT-ARM(Fine-Tuned Agentic Reflection Multimodal model),一种基于细调多模态大语言模型(MLLM)的模型,采用具备自省机制的细调式模型用于压疮严重程度分类。受临床医生诊断复评风格启发,FT-ARM 通过对视觉特征和编码自文本临床知识进行推理,不断细化其预测结果,从而提升准确性和一致性。在公开可用的压疮伤图像数据集(PIID)上,FT-ARM 基于 LLaMA 3.2 90B 进行细调后,在对 PU Ⅰ-Ⅳ期分类中实现了 85% 的准确率,显著优于先前基于 CNN 的模型提升了 4%。不同于早期仅依赖离线评估的 CNN/ViT 研究,FT-ARM 设计并在实际推理条件下进行测试,反映真实部署环境。此外,它会生成基于临床的自然语言解释,提高可解释性和可信度。通过在多模态输入上整合细调与反思推理,FT-ARM 推动了自动化伤口评估系统在可靠性、透明性和临床应用方面的提升,满足持续和可解释的 PU 分期以支持改善患者护理的迫切需求。
引用
@article{arxiv.2510.24980,
title = {FT-ARM: Fine-Tuned Agentic Reflection Multimodal Language Model for Pressure Ulcer Severity Classification with Reasoning},
author = {Reza Saadati Fard and Emmanuel Agu and Palawat Busaranuvong and Deepak Kumar and Shefalika Gautam and Bengisu Tulu and Diane Strong and Lorraine Loretz},
journal= {arXiv preprint arXiv:2510.24980},
year = {2025}
}