TextSAM-EUS：基于文本提示学习的腹膜肿瘤内镜超声精准分割
计算机视觉与模式识别
2025-07-31 v3 人工智能
摘要
胰腺癌死亡率高，依赖内镜超声（EUS）进行靶向活检和放疗。然而，EUS的散粒噪声、低对比度及非直观的表象，使得基于完全监督深度学习模型的胰腺肿瘤分割容易出错，且依赖大量由专家精心标注的数据集。为此，我们提出TextSAM-EUS，这是一种轻量级、基于文本驱动的Segment Anything Model（SAM）适应方法，推理时无需手动几何提示。我们的方法通过BiomedCLIP文本编码器结合LoRA-based方式，对SAM架构进行适配，实现EUS中胰腺肿瘤的自动分割，仅调参0.86%的总参数。在公开的胰腺内镜超声数据库上，TextSAM-EUS在自动提示下达到82.69%的Dice系数和85.28%的归一化表面距离（NSD），在手动几何提示下达到83.10%的Dice系数和85.70%的NSD，超越现有SOTA监督深度学习模型以及基础模型（如SAM及其变体）。作为首个将提示学习应用于SAM-based医学图像分割的尝试，TextSAM-EUS为高效稳健的EUS自动分割提供了实用方案。代码已公开于https://github.com/HealthX-Lab/TextSAM-EUS。
引用
@article{arxiv.2507.18082,
title = {TextSAM-EUS: Text Prompt Learning for SAM to Accurately Segment Pancreatic Tumor in Endoscopic Ultrasound},
author = {Pascal Spiegler and Taha Koleilat and Arash Harirpoush and Corey S. Miller and Hassan Rivaz and Marta Kersten-Oertel and Yiming Xiao},
journal= {arXiv preprint arXiv:2507.18082},
year = {2025}
}
备注
Accepted to ICCV 2025 Workshop CVAMD