多模态原型对齐用于半监督病理图像分割
计算机视觉与模式识别
2025-08-28 v1 人工智能
摘要
病理图像分割面临诸多挑战，特别是由于语义边界模糊和像素级标注成本高昂。尽管基于一致性正则化的最新半监督方法(如UniMatch)取得了显著进展，但它们主要依赖图像模态内的基于扰动的一致性，难以捕捉高层语义先验，尤其是在结构复杂的病理图像中。为解决这些局限性，我们提出MPAMatch——一种新颖的分割框架，在多模态原型引导监督范式下进行像素级对比学习。MPAMatch的核心创新在于图像原型与像素标签之间以及文本原型与像素标签之间的双对比学习方案，提供结构和语义两个层面的监督。这种从粗到细的监督策略不仅增强了对无标签样本的判别能力，还首次将文本原型监督引入分割，显著改善了语义边界建模。此外，我们通过用病理预训练基础模型(Uni)替换TransUNet的ViT骨干网络来重构经典分割架构，实现更有效的病理相关特征提取。在GLAS、EBHI-SEG-GLAND、EBHI-SEG-CANCER和KPI上的广泛实验表明MPAMatch优于最先进方法，验证了其在结构和语义建模上的双重优势。
引用
@article{arxiv.2508.19574,
title = {Multimodal Prototype Alignment for Semi-supervised Pathology Image Segmentation},
author = {Mingxi Fu and Fanglei Fu and Xitong Ling and Huaitian Yuan and Tian Guan and Yonghong He and Lianghui Zhu},
journal= {arXiv preprint arXiv:2508.19574},
year = {2025}
}