基于深度稀疏膨胀卷积适配器的医学对象跟踪与分割：应用Segment Anything Model 2
计算机视觉与模式识别
2025-09-09 v2
摘要
近期医学图像分割的进展由深度学习推动，但大多数现有方法受限于模态特定设计，难以适应动态医学成像场景。Segment Anything Model 2（SAM2）及其相关变体引入了实时视频分割的流式记忆机制，为基于提示的通用解决方案提供了新机会。然而，将这些模型适用于医学视频场景通常需要大规模数据集进行重新训练或迁移学习，导致高计算成本和严重遗忘风险。为此，我们提出DD-SAM2框架，集成深度稀疏膨胀适配器（Depthwise-Dilated Adapter, DD-Adapter）以实现多尺度特征提取，参数开销最小。该设计使SAM2能在有限训练数据上有效微调医学视频。与专注静态图像的现有适配器方法不同，DD-SAM2充分利用SAM2的流式记忆进行医学视频对象跟踪与分割。我们在TrackRad2025（肿瘤分割）和EchoNet-Dynamic（左心室跟踪）数据集上进行了全面评估，分别实现了0.93和0.97的Dice分数。已知我们工作是首次系统性地探索基于适配器的SAM2微调用于医学视频分割和跟踪。代码、数据集和模型将在https://github.com/apple1986/DD-SAM2公开。
引用
@article{arxiv.2507.14613,
title = {Depthwise-Dilated Convolutional Adapters for Medical Object Tracking and Segmentation Using the Segment Anything Model 2},
author = {Guoping Xu and Christopher Kabat and You Zhang},
journal= {arXiv preprint arXiv:2507.14613},
year = {2025}
}
备注
24 pages, 6 figures