基于专家文本引导的任意分割模型的多序列腮腺病变分割
计算机视觉与模式识别
2025-08-14 v1
摘要
腮腺病变分割对于腮腺疾病的治疗至关重要。然而，由于病变大小不一且边界复杂，精确的腮腺病变分割仍然具有挑战性。近年来，分割任意模型（Segment Anything Model, SAM）微调在医学图像分割领域表现出卓越的性能。然而，SAM的交互式分割模型严重依赖精确的病变提示（点、框、掩码等），这些提示在实际应用中极难获取。此外，当前的医学图像分割方法多为自动生成，忽略了医学专家在分割时的领域知识。为解决这些局限性，我们提出了腮腺分割任意模型（PG-SAM），这是一种专家诊断文本引导的SAM，融合了专家领域知识，用于跨序列腮腺病变分割。具体而言，我们首先提出一个专家诊断报告引导的提示生成模块，该模块能自动生成包含先验领域知识的提示信息，以指导后续的病变分割过程。然后，我们引入一个跨序列注意力模块，整合不同模态的互补信息以增强分割效果。最后，将多序列图像特征和生成的提示输入解码器以获得分割结果。实验结果表明，PG-SAM在三个独立临床中心的腮腺病变分割中达到了最先进的性能，验证了其临床适用性以及诊断文本在真实临床环境中增强图像分割的有效性。
引用
@article{arxiv.2508.09645,
title = {Multi-Sequence Parotid Gland Lesion Segmentation via Expert Text-Guided Segment Anything Model},
author = {Zhongyuan Wu and Chuan-Xian Ren and Yu Wang and Xiaohua Ban and Jianning Xiao and Xiaohui Duan},
journal= {arXiv preprint arXiv:2508.09645},
year = {2025}
}