形态感知的膝骨关节炎分类：将图先验与视觉模型相结合
计算机视觉与模式识别
2025-10-28 v1 机器学习
摘要
由于标准深度学习模型难以有效捕捉细微的形态细节，从X光片诊断膝骨关节炎（KOA）仍然具有挑战性。我们提出了一种新颖的多模态框架，该框架通过将形态图表示（源自Segment Anything Model (SAM)分割）与视觉编码器相结合，将解剖结构与放射影像特征融合在一起。我们的方法通过互信息最大化，强制几何信息图嵌入与放射影像特征之间对齐，显著提高了KOA分类的准确性。通过从解剖特征构建图，我们引入了反映临床评估标准的显式形态先验，丰富了特征空间并增强了模型的归纳偏置。在Osteoarthritis Initiative数据集上的实验表明，我们的方法在准确率上比单模态基线高出10%（达到近80%），同时在准确率和F1分数上分别比现有最先进方法高出8%和11%。这些结果强调了将解剖结构纳入放射影像分析对于准确进行KOA严重程度分级的关键重要性。
引用
@article{arxiv.2510.21801,
title = {Morphology-Aware KOA Classification: Integrating Graph Priors with Vision Models},
author = {Marouane Tliba and Mohamed Amine Kerkouri and Yassine Nasser and Nour Aburaed and Aladine Chetouani and Ulas Bagci and Rachid Jennane},
journal= {arXiv preprint arXiv:2510.21801},
year = {2025}
}
备注
Submitted to ICASSP 2026