医学影像中的综合多模态分割：YOLOv8与SAM及HQ-SAM模型的结合
计算机视觉与模式识别
2023-10-23 v1 人工智能
摘要
本文提出了一种在超声、CT扫描和X射线图像等多种医学影像数据集中分割感兴趣区域（ROI）的综合方法。所提方法利用YOLOv8模型跨模态进行近似边界框检测，并结合Segment Anything Model（SAM）与高质量（HQ）SAM实现全自动精确分割。为生成边界框，YOLOv8模型使用来自每种模态的100张图像及掩码的小规模集合进行训练。我们对所得结果进行了广泛计算与分析，证明了该方法在医学图像分析中的有效性与潜力。采用精度、召回率、F1分数和Dice分数等多种评价指标量化分割结果的准确性。通过对比分析评估了YOLOv8、YOLOv8+SAM与YOLOv8+HQ-SAM模型的单独及组合性能。结果表明SAM模型优于另外两种模型，具有更高的分割精度与整体性能。尽管HQ-SAM具有潜在优势，但其相对标准SAM模型的增量收益可能不足以抵消额外的计算成本。YOLOv8+SAM模型在增强医学图像分割及其临床意义方面展现出前景。
引用
@article{arxiv.2310.12995,
title = {Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models},
author = {Sumit Pandey and Kuan-Fu Chen and Erik B. Dam},
journal= {arXiv preprint arXiv:2310.12995},
year = {2023}
}