基于多模态 Transformer 的膝骨关节炎进展端到端预测
图像与视频处理
2023-07-04 v1 计算机视觉与模式识别
摘要
膝骨关节炎（KOA）是一种高度流行的慢性肌肉骨骼疾病，目前尚无可用疗法。KOA 的表现具有异质性，其进展预测颇具挑战。当前文献表明，使用多模态数据和先进建模方法（如基于深度学习的方法）在应对该挑战方面具有前景。然而，迄今为止，关于此方法有效性的证据有限。在本研究中，我们利用深度学习的最新进展，采用 Transformer 方法，开发了一个用于膝关节影像数据多模态融合的统一框架。随后，我们通过考察多个进展时间跨度——从短期到长期——分析其在一系列场景下的性能。我们使用源自骨关节炎倡议（Osteoarthritis Initiative）数据集的大队列（n=2421-3967）报告了我们的发现。我们显示，结构膝关节 MRI 能够以与多模态融合方法相当的水平识别放射学 KOA 进展者，在 2-8 年跨度内达到 ROC 曲线下面积（ROC AUC）0.70-0.76 和平均精度（AP）0.15-0.54。1 年内的进展通过结合 X 射线、结构和成分 MR 图像的多模态方法预测更佳——ROC AUC 0.76(0.04)、AP 0.13(0.04)——或通过临床数据预测。我们的后续分析普遍显示，对于创伤后受试者，来自影像数据的预测更为准确，并进一步探究了哪些受试者亚组可能获益最多。本研究为 KOA 多模态影像提供了新见解，并带来了一个统一的数据驱动框架，用于以端到端方式研究其进展，为设计更高效的临床试验提供了新工具。我们框架的源代码和预训练模型已公开可用。
引用
@article{arxiv.2307.00873,
title = {End-To-End Prediction of Knee Osteoarthritis Progression With Multi-Modal Transformers},
author = {Egor Panfilov and Simo Saarakkala and Miika T. Nieminen and Aleksei Tiulpin},
journal= {arXiv preprint arXiv:2307.00873},
year = {2023}
}