CLIP-KOA: 基于多模态学习和对称感知损失函数提升半肌骨关节炎诊断
计算机视觉与模式识别
2025-04-29 v1 人工智能
摘要
半肌骨关节炎（KOA）是全球范围内普遍的慢性肌肉骨骼疾病，使得早期诊断至关重要。目前，克莱格-刘伦格斯 (KL) 评分系统广泛用于评估 KOA 的严重程度。然而，其高的观察者间变异性和主观性阻碍了诊断的一致性。为解决这些限制，近年来积极探索使用深度学习进行自动诊断技术。在本研究中，我们提出了一个基于 CLIP 框架的方案（CLIP-KOA），以提高 KOA 评分预测的一致性和可靠性。为实现此目标，我们引入一种集成图像和文本信息的学习方法，并采用对称损失和一致性损失，以确保原始图像和翻转图像之间的预测一致性。CLIP-KOA 在 KOA 严重程度预测任务上实现了 71.86% 的最先进准确率，消融实验表明，CLIP-KOA 由于贡献，相对于标准 CLIP 模型在准确率上提升了 2.36%。本研究表明，数据驱动的医学预测为改善精细诊断可靠性以及探索医学图像分析中的多模态方法提供了新的方向。我们的代码可在 https://github.com/anonymized-link 获取。
引用
@article{arxiv.2504.19443,
title = {CLIP-KOA: Enhancing Knee Osteoarthritis Diagnosis with Multi-Modal Learning and Symmetry-Aware Loss Functions},
author = {Yejin Jeong and Donghun Lee},
journal= {arXiv preprint arXiv:2504.19443},
year = {2025}
}
备注
10 pages, 2 figures