医学视觉提示（MVP）：用于通用且高质量医学图像分割的统一框架
计算机视觉与模式识别
2024-04-02 v1 人工智能
摘要
病灶区域的准确分割对于各种疾病的临床诊断和治疗至关重要。尽管深度卷积网络在医学图像分割中取得了令人满意的结果，但它们面临着诸多挑战，例如连续卷积和下采样导致病灶形状信息丢失，以及人工标注形状和大小各异的病灶成本高昂。为了解决这些问题，我们提出了一种新颖的医学视觉提示（MVP）框架，该框架利用了自然语言处理（NLP）中的预训练和提示概念。该框架利用三个关键组件：用于对输入图像进行超像素化的超像素引导提示（SPGP），用于冻结 patch 嵌入并与超像素合并以提供视觉提示的图像嵌入引导提示（IEGP），以及用于精确定位提示内容并有效适应所有层的自适应注意力机制引导提示（AAGP）。通过集成 SPGP、IEGP 和 AAGP，MVP 使分割网络能够更好地学习形状提示信息，并促进不同任务之间的相互学习。在五个数据集上进行的大量实验表明，该方法在各种具有挑战性的医学图像任务中表现出优越的性能，同时简化了单任务医学分割模型。这种新颖的框架以更少的参数提供了改进的性能，并在各种医学任务中对病灶区域的准确分割具有巨大潜力，具有临床价值。
引用
@article{arxiv.2404.01127,
title = {Medical Visual Prompting (MVP): A Unified Framework for Versatile and High-Quality Medical Image Segmentation},
author = {Yulin Chen and Guoheng Huang and Kai Huang and Zijin Lin and Guo Zhong and Shenghong Luo and Jie Deng and Jian Zhou},
journal= {arXiv preprint arXiv:2404.01127},
year = {2024}
}