利用时空双流网络与自监督学习对径向探头支气管内超声视频进行肺肿瘤分类
图像与视频处理
2023-05-09 v2 计算机视觉与模式识别
摘要
本研究旨在开发一种用于分类良恶性肺病变的计算机辅助诊断系统，并辅助医生实时分析径向探头支气管内超声（EBUS）视频。在肺癌活检过程中，医生利用实时超声图像寻找合适的病变位置进行采样。然而，这些图像大多难以分类且包含大量噪声。以往研究采用2D卷积神经网络有效区分良恶性肺病变，但医生仍需手动筛选高质量图像，这会带来额外的人力成本。此外，2D神经网络无法捕捉超声视频的时间信息，因而难以获取连续图像特征间的关系。本研究设计了一种基于3D神经网络的自动诊断系统，采用SlowFast架构作为主干融合时间与空间特征，并利用对比学习的SwAV方法增强模型的噪声鲁棒性。我们提出的方法具有以下优点：（1）以临床超声影像作为模型输入，从而降低医生对高质量图像筛选的需求；（2）对良恶性肺病变的高精度分类可辅助医生临床诊断，减少手术时间与风险；（3）即使在图像噪声显著的情况下也具备良好的分类能力。我们所提方法在验证集上的AUC、准确率、精确率、召回率和特异度分别达到0.87、83.87%、86.96%、90.91%和66.67%。结果验证了引入时间信息的重要性以及使用对比学习方法进行特征提取的有效性。
引用
@article{arxiv.2305.02719,
title = {Using Spatio-Temporal Dual-Stream Network with Self-Supervised Learning for Lung Tumor Classification on Radial Probe Endobronchial Ultrasound Video},
author = {Ching-Kai Lin and Chin-Wen Chen and Yun-Chien Cheng},
journal= {arXiv preprint arXiv:2305.02719},
year = {2023}
}