基于 YOLO + SAM 的内镜期间脑腺瘤分割及其在肿瘤切除中的提高精度
图像与视频处理
2024-08-28 v1 计算机视觉与模式识别
机器学习
摘要
脑腺瘤是一种常见的恶性脑肿瘤，其相似性接近健康组织，给手术带来了显著的挑战。术前磁共振成像（MRI）图像在手术过程中往往不够有效，因为脑位移等因素会改变脑结构和肿瘤的位置。这使得实时内镜期间磁共振成像（ioMRI）至关重要，因为它提供了更新后的成像，能够考虑到这些位移，确保更准确的肿瘤定位和更安全的切除。本文提出了一种结合 You Only Look Once 版本 8（YOLOv8）和 Segment Anything Model Vision Transformer-base（SAM ViT-b）的深度学习管道，用于增强ioMRI期间的脑腺瘤检测和分割。我们使用包含标准磁共振成像（MRI）图像以及模拟内镜期间MRI图像的噪声增强MRI图像的脑肿瘤分割 2021（BraTS 2021）数据集进行训练。噪声MRI图像对深度学习管道进行分割更具挑战性，但更能代表手术条件。 our model 获得了 Dice 相似系数（DICE）得分 0.79，在无噪声数据上测试的该模型表现与最先进的分割模型相当。这一性能表明该模型有潜力帮助外科医生最大化肿瘤切除，改善手术结果。
引用
@article{arxiv.2408.14847,
title = {Intraoperative Glioma Segmentation with YOLO + SAM for Improved Accuracy in Tumor Resection},
author = {Samir Kassam and Angelo Markham and Katie Vo and Yashas Revanakara and Michael Lam and Kevin Zhu},
journal= {arXiv preprint arXiv:2408.14847},
year = {2024}
}