用于心脏再同步治疗反应预测的多模态深度学习模型
图像与视频处理
2021-07-23 v1
摘要
我们提出了一种新颖的多模态深度学习框架，用于根据二维超声心动图和心脏磁共振（CMR）数据预测心脏再同步治疗（CRT）反应。该方法首先使用 ‘nnU-Net’ 分割模型从两种模态中提取整个心动周期的心脏分割结果。随后，采用多模态深度学习分类器进行 CRT 反应预测，该分类器结合了两种模态分割模型的潜在空间。在推理时，该框架可仅使用二维超声心动图数据，同时利用从模型中学习的 CMR 与超声心动图特征之间的隐式关系。我们在一个包含 50 名 CRT 患者的队列上评估了我们的流程，这些患者均有配对的超声心动图/CMR 数据，结果表明所提多模态分类器相比仅使用二维超声心动图数据的基线方法在准确率上取得了统计显著性提升。多模态数据的结合使 CRT 反应预测准确率达到 77.38%（灵敏度 83.33%，特异度 71.43%），与当前基于机器学习的 CRT 反应预测最优水平相当。我们的工作代表了首个用于 CRT 反应预测的多模态深度学习方法。
引用
@article{arxiv.2107.10662,
title = {A Multimodal Deep Learning Model for Cardiac Resynchronisation Therapy Response Prediction},
author = {Esther Puyol-Antón and Baldeep S. Sidhu and Justin Gould and Bradley Porter and Mark K. Elliott and Vishal Mehta and Christopher A. Rinaldi and Andrew P. King},
journal= {arXiv preprint arXiv:2107.10662},
year = {2021}
}