ProtoMedX: 面向可解释性的多模态原型学习骨健康分类
计算机视觉与模式识别
2025-10-10 v2 人工智能
机器学习
摘要
骨健康研究在医疗实践中至关重要，用于早期检测和治疗骨质疏松症和骨质疏弱症。临床医生通常根据骨密度扫描（DEXA）和患者史进行诊断。该领域的人工智能应用正在持续进行研究。大多数成功方法依赖仅使用视觉的深度学习模型（DEXA/X 光图像），并关注预测准确性，而可解释性往往被忽视，仅通过后置方法评估输入贡献。我们提出ProtoMedX，一种多模态模型，同时使用脊椎腰椎DEXA扫描和患者记录。ProtoMedX的原型基架天然可解释，这在医疗应用中至关重要，尤其是在即将到来的欧盟人工智能法案背景下，因为它允许对模型决策进行显式分析，包括错误决策。ProtoMedX在骨健康分类任务中实现了最先进的性能，同时提供了临床医生可理解的解释。使用4160名真实NHS患者的数据集，本文提出的ProtoMedX在仅视觉任务中实现了87.58%的准确率，在其多模态变体中实现了89.8%的准确率，两者均超越了现有发表的方法。
引用
@article{arxiv.2509.14830,
title = {ProtoMedX: Towards Explainable Multi-Modal Prototype Learning for Bone Health Classification},
author = {Alvaro Lopez Pellicer and Andre Mariucci and Plamen Angelov and Marwan Bukhari and Jemma G. Kerns},
journal= {arXiv preprint arXiv:2509.14830},
year = {2025}
}
备注
ICCV 2025 (PHAROS-AFE-AIMI: Adaptation, Fairness, and Explainability in Medical Imaging). 8 pages, 5 figures, 4 tables. Keywords: multi-modal, multimodal, prototype learning, explainable AI, interpretable models, case-based reasoning, medical imaging, DEXA, bone health, osteoporosis, osteopenia, diagnosis, classification, clustering