用于主动脉瓣狭窄诊断的半监督多模态多实例学习
计算机视觉与模式识别
2024-03-12 v1 新兴技术
机器学习
摘要
心脏超声成像（超声心动图）的自动判读可以改善对致命心脏病——主动脉瓣狭窄 (AS) 的检测和治疗。然而，现有的用于从超声心动图评估 AS 的深度学习流水线有两个关键局限性。首先，大多数方法依赖于有限的 2D 动态图像，从而忽略了广泛可用的多普勒成像，后者包含与 AS 相关的压力梯度和血流异常的重要互补信息。其次，获取标注数据很困难。通常有大量未标注的超声心动图记录可用，但现有方法仍未充分利用这些数据。为了克服这些局限性，我们引入了半监督多模态多实例学习 (SMMIL)，这是一种用于自动判读 AS 等结构性心脏病的新型深度学习框架。在部署时，SMMIL 可以结合来自频谱多普勒和 2D 动态图像两种输入模态的信息，以生成研究级别的 AS 诊断。在训练期间，SMMIL 可以结合两种模态的较小标注集和大量未标注集来改进其分类器。实验表明，SMMIL 在 3 级 AS 严重程度分类以及几项临床相关 AS 检测任务中均优于近期的方法。
引用
@article{arxiv.2403.06024,
title = {Semi-Supervised Multimodal Multi-Instance Learning for Aortic Stenosis Diagnosis},
author = {Zhe Huang and Xiaowei Yu and Benjamin S. Wessler and Michael C. Hughes},
journal= {arXiv preprint arXiv:2403.06024},
year = {2024}
}
备注
Echocardiography; Multimodal; Semi-supervised Learning; Multiple-Instance Learning