用于诊断遠端肌病的多模态注意力感知融合：评估模型可解释性与临床医生信任
计算机视觉与模式识别
2025-08-05 v1 人机交互
摘要
遠端肌病代表了一类遗传上高度异质的骨骼肌障碍，其临床表现广泛，在放射学诊断中构成挑战。为此，我们提出一种新型的多模态注意力感知融合架构，将来自两种不同深度学习模型提取的特征进行融合：一种捕获全局上下文信息，另一种专注于局部细节，代表了输入数据的互补方面。独特之处在于，我们通过注意力门机制将这些特征整合，以增强预测性能和可解释性。本方法在BUSI基准数据集和专有遠端肌病数据集上实现了高分类准确率，同时生成与临床相关的显著性图，支持医学诊断中的透明决策。我们通过（1）功能导向的指标、对参考掩模的一致性评分和增量删除分析，以及（2）针对七位专职放射科医生的应用导向验证来严格评估可解释性。尽管我们的融合策略相对于单一流和其他融合策略提升了预测性能，但定性和定量评估均揭示了解剖学特异性和可解释性在临床实用性方面的持续差距。这些发现突显了需要更丰富、更具上下文感知的可解释性方法以及人机反馈，以满足临床医生在实际诊断环境中的期望。
引用
@article{arxiv.2508.01316,
title = {Multimodal Attention-Aware Fusion for Diagnosing Distal Myopathy: Evaluating Model Interpretability and Clinician Trust},
author = {Mohsen Abbaspour Onari and Lucie Charlotte Magister and Yaoxin Wu and Amalia Lupi and Dario Creazzo and Mattia Tordin and Luigi Di Donatantonio and Emilio Quaia and Chao Zhang and Isel Grau and Marco S. Nobile and Yingqian Zhang and Pietro Liò},
journal= {arXiv preprint arXiv:2508.01316},
year = {2025}
}