GEMTrans：一种基于超声心动图的通用多层级 Transformer 心血管诊断框架
计算机视觉与模式识别
2023-08-28 v1 机器学习
摘要
超声心动图（echo）是一种广泛用于各类心血管诊断任务的超声成像方式。由于基于 echo 的诊断存在观察者间差异（源于 echo 图像采集的变异性及基于临床经验对 echo 图像的解读），基于视觉的机器学习（ML）方法作为辅助验证层日益受到青睐。对于此类安全关键应用，任何所提 ML 方法在具备良好精度的同时必须提供一定程度的可解释性。此外，此类方法须能处理取自不同心脏切面的若干 echo 视频及其间的交互，以正确产出针对多种心血管测量或解读任务的预测。已有工作缺乏可解释性，或局限于单一心血管任务而 scope 受限。为此，我们提出一种通用、基于 Echo、多层级 Transformer（GEMTrans）框架，其在提供可解释性的同时支持多视频训练，基于下游任务捕捉同一帧内 echo 图像块之间、同一视频所有帧之间及视频间的关系。我们通过考虑包括射血分数（EF）与主动脉瓣狭窄（AS）严重程度检测在内的两项关键任务展示了框架的灵活性。我们的模型在单视频与双视频 EF 估计上分别取得 4.15 与 4.84 的平均绝对误差，在 AS 检测上取得 96.5% 的准确率，同时提供有信息的任务特定注意力图与原型可解释性。
引用
@article{arxiv.2308.13217,
title = {GEMTrans: A General, Echocardiography-based, Multi-Level Transformer Framework for Cardiovascular Diagnosis},
author = {Masoud Mokhtari and Neda Ahmadi and Teresa S. M. Tsang and Purang Abolmaesumi and Renjie Liao},
journal= {arXiv preprint arXiv:2308.13217},
year = {2023}
}
备注
To be published in MLMI 2023