SAMCT：允许免人工任务指示符提示的任意 CT 分割
计算机视觉与模式识别
2024-03-21 v1
摘要
分割一切模型（SAM）作为一种在多种分割任务中具有卓越多功能性和泛化能力的基础模型，在医学图像领域引起了广泛关注。然而，已证明 SAM 由于在训练和局部特征编码中缺乏医学知识，会遭遇严重的性能下降。尽管已提出几种基于 SAM 的模型用于在医学图像中微调 SAM，但它们仍然存在特征提取不足的问题，且高度依赖高质量提示。在本文中，我们构建了一个包含来自公开数据集的 110 万张 CT 图像和 500 万个掩膜的大型 CT 数据集，并提出了一种允许免人工提示的强大基础模型 SAMCT。具体而言，基于 SAM，SAMCT 进一步配备了 U 型 CNN 图像编码器、跨分支交互模块和任务指示符提示编码器。U 型 CNN 图像编码器与 SAM 中的 ViT 图像编码器并行工作，以补充局部特征。跨分支交互通过相互交换全局感知和局部特征，增强了 CNN 图像编码器和 ViT 图像编码器的特征表达能力。任务指示符提示编码器是一个即插即用组件，可轻松将与任务相关的指示符编码为提示嵌入。通过这种方式，除了 SAM 中的半自动交互策略外，SAMCT 还可以以全自动方式工作。大量实验证明了 SAMCT 在各种任务上优于最先进的特定任务模型和基于 SAM 的医学基础模型。代码、数据和模型已发布在 https://github.com/xianlin7/SAMCT。
引用
@article{arxiv.2403.13258,
title = {SAMCT: Segment Any CT Allowing Labor-Free Task-Indicator Prompts},
author = {Xian Lin and Yangyang Xiang and Zhehao Wang and Kwang-Ting Cheng and Zengqiang Yan and Li Yu},
journal= {arXiv preprint arXiv:2403.13258},
year = {2024}
}