单分支多器官多类别细胞语义分割的渐进式视觉语言提示
计算机视觉与模式识别
2024-12-05 v1
摘要
病理细胞语义分割是计算病理学中的基础技术，对于癌症诊断和有效治疗具有重要作用。鉴于多个细胞类型在不同器官中存在，且细胞尺寸和形状存在细微差异，多器官、多类别细胞分割尤为具有挑战性。目前大多数方法采用多分支框架来增强特征提取，但常导致复杂的网络结构。此外，仅依赖视觉信息会限制在多类别分析中的性能，因为存在复杂的纹理细节。为解决上述挑战，我们提出了一种基于单分支的多器官多类别细胞语义分割方法（MONCH），其利用视觉语言输入。具体而言，我们设计了分层特征提取机制，以提供用于分割各种形状细胞的粗到细粒度特征，包括高频、卷积和拓扑特征。灵感来源于文本与多粒度视觉特征的协同作用，我们引入渐进式提示解码器，以实现多模态信息的调和，将来粒度特征逐步整合，以更好地捕获上下文信息。在具有显著类别不平衡和细微细胞尺寸和形状变化的PanNuke数据集上进行的大量实验表明，MONCH在细胞分割方法和视觉语言模型方面均超越了当前最先进的技术。代码和实现将公开发布。
引用
@article{arxiv.2412.02978,
title = {Progressive Vision-Language Prompt for Multi-Organ Multi-Class Cell Semantic Segmentation with Single Branch},
author = {Qing Zhang and Hang Guo and Siyuan Yang and Qingli Li and Yan Wang},
journal= {arXiv preprint arXiv:2412.02978},
year = {2024}
}