利用异常感知开放词汇注意力图与冻结基础扩散模型推进可泛化肿瘤分割
计算机视觉与模式识别
2025-05-06 v1
摘要
我们探索了可泛化肿瘤分割，旨在训练一个单一模型，以在不同解剖区域实现零样本肿瘤分割。现有方法在分割质量、可扩展性和适用成像模态范围方面存在局限性。本文通过引入一个名为DiffuGTS的新颖框架，揭示了冻结医学基础扩散模型内部表示作为高效零样本肿瘤分割学习器的潜力。DiffuGTS基于文本提示创建异常感知的开放词汇注意力图，从而在不受预定义训练类别列表限制的情况下实现可泛化的异常分割。为了进一步改进和细化异常分割掩膜，DiffuGTS利用扩散模型，通过潜在空间修复将病理区域转化为高质量的伪健康对应区域，并应用一种新颖的像素级和特征级残差学习方法，从而生成质量和泛化能力显著增强的分割掩膜。在四个数据集和七种肿瘤类别上的综合实验证明了我们方法的优越性能，在多种零样本设置下超越了当前最先进的模型。代码可在 https://github.com/Yankai96/DiffuGTS 获取。
引用
@article{arxiv.2505.02753,
title = {Advancing Generalizable Tumor Segmentation with Anomaly-Aware Open-Vocabulary Attention Maps and Frozen Foundation Diffusion Models},
author = {Yankai Jiang and Peng Zhang and Donglin Yang and Yuan Tian and Hai Lin and Xiaosong Wang},
journal= {arXiv preprint arXiv:2505.02753},
year = {2025}
}
备注
This paper is accepted to CVPR 2025