ScribbleVC：基于视觉-类别嵌入的涂鸦监督医学图像分割
计算机视觉与模式识别
2023-08-01 v1 多媒体
摘要
医学图像分割在临床决策、治疗规划和疾病监测中起着关键作用。然而，由于高质量标注缺乏、成像噪声以及患者间解剖差异等因素，医学图像的精确分割具有挑战性。此外，现有标签高效方法与全监督方法之间仍存在显著的性能差距。为应对上述挑战，我们提出 ScribbleVC，一种新颖的涂鸦监督医学图像分割框架，其通过多模态信息增强机制利用视觉与类别嵌入。此外，ScribbleVC 统一利用 CNN 特征与 Transformer 特征以实现更好的视觉特征提取。所提方法将基于涂鸦的方法与分割网络及类别嵌入模块相结合，以生成精确的分割掩码。我们在三个基准数据集上评估 ScribbleVC，并与最先进的方法进行比较。实验结果表明，我们的方法在准确性、鲁棒性和效率方面优于现有方法。数据集与代码已发布于 GitHub。
引用
@article{arxiv.2307.16226,
title = {ScribbleVC: Scribble-supervised Medical Image Segmentation with Vision-Class Embedding},
author = {Zihan Li and Yuan Zheng and Xiangde Luo and Dandan Shan and Qingqi Hong},
journal= {arXiv preprint arXiv:2307.16226},
year = {2023}
}
备注
Accepted by ACM MM 2023, project page: https://github.com/HUANGLIZI/ScribbleVC