视觉语言模型在骨关节炎严重程度评估中的应用
计算机视觉与模式识别
2024-01-15 v1
摘要
骨关节炎（OA）对全球健康构成挑战，需要精确的诊断方法。当前的放射学评估耗时且易变，促使需要自动化解决方案。现有的用于OA评估的深度学习模型是单模态单任务系统，它们不包含相关的文本信息，如患者人口统计学、病史或医生报告。本研究探讨使用视觉语言处理（VLP）模型，通过X光图像和相应报告来预测OA严重程度。我们的方法利用膝关节X光图像和从表格化OA评分值生成的多样化报告模板来训练CLIP（对比语言-图像预训练）风格的VLP模型。此外，我们加入额外的对比描述，以强制模型区分正面和负面报告。结果证明了这些模型在学习文本-图像表示及其上下文关系方面的有效性，展示了在OA评估中的潜在进展，并为医学领域的专用视觉语言模型奠定了基础。
引用
@article{arxiv.2401.06331,
title = {Application Of Vision-Language Models For Assessing Osteoarthritis Disease Severity},
author = {Banafshe Felfeliyan and Yuyue Zhou and Shrimanti Ghosh and Jessica Kupper and Shaobo Liu and Abhilash Hareendranathan and Jacob L. Jaremko},
journal= {arXiv preprint arXiv:2401.06331},
year = {2024}
}