用于超声视频弱监督颈动脉狭窄分级的膨胀三维卷积-Transformer
计算机视觉与模式识别
2023-06-13 v3
摘要
在临床实践中，对颈动脉超声（US）中血管最窄位置的定位以及相应血管与残余血管的勾画，是颈动脉狭窄分级（CSG）的关键。然而，由于斑块边界模糊且存在时间变化，该流程耗时且困难。为实现该流程的自动化，通常需要大量人工勾画，这不仅费力，且鉴于标注难度，其结果也不可靠。本研究提出了首个用于自动 CSG 的视频分类框架。我们的贡献有三方面。首先，为避免费力且不可靠的标注需求，我们提出了一种新颖且有效的视频分类网络用于弱监督 CSG。其次，为简化模型训练，我们对网络采用膨胀策略，其中预训练的 2D 卷积权重可适配为我们网络中的 3D 对应权重，以实现有效的热启动。第三，为增强视频的特征判别力，我们提出了一种新颖的注意力引导多维融合（AMDF）Transformer 编码器，以建模并整合空间与时间维度内部及跨维度的全局依赖关系，其中设计了两种轻量级跨维度注意力机制。我们的方法在一个大规模临床采集的颈动脉超声视频数据集上进行了充分验证，相较于强劲的竞争对手展现出最先进的性能。
引用
@article{arxiv.2306.02548,
title = {Inflated 3D Convolution-Transformer for Weakly-supervised Carotid Stenosis Grading with Ultrasound Videos},
author = {Xinrui Zhou and Yuhao Huang and Wufeng Xue and Xin Yang and Yuxin Zou and Qilong Ying and Yuanji Zhang and Jia Liu and Jie Ren and Dong Ni},
journal= {arXiv preprint arXiv:2306.02548},
year = {2023}
}
备注
Accepted by MICCAI 2023