DualProtoSeg：结合文本与图像引导原型学习的弱监督组织病理学图像分割简单高效设计
计算机视觉与模式识别
2025-12-12 v1
摘要
组织病理学中的弱监督语义分割 (WSSS) 旨在通过从图像级标签中学习来降低标注成本，然而它仍受限于类间同质性、类内异质性以及基于 CAM 的监督的区域收缩效应。我们提出了一个简单且有效的原型驱动框架，该框架利用视觉-语言对齐来改善弱监督下的区域发现。我们的方法集成了 CoOp 风格的可学习提示微调以生成基于文本的原型，并将其与可学习的图像原型相结合，形成了一个双模态原型库，以同时捕获语义和外观线索。为了解决 ViT 表示中的过平滑问题，我们引入了一个多尺度金字塔模块，以增强空间精度并改善定位质量。在 BCSS-WSSS 基准上的实验表明，我们的方法超越了现有的 state-of-the-art 方法，并且详细的分析展示了文本描述多样性、上下文长度以及文本和图像原型互补行为的优势。这些结果突出了在数字病理学 WSSS 中联合利用文本语义和视觉原型学习的有效性。
引用
@article{arxiv.2512.10314,
title = {DualProtoSeg: Simple and Efficient Design with Text- and Image-Guided Prototype Learning for Weakly Supervised Histopathology Image Segmentation},
author = {Anh M. Vu and Khang P. Le and Trang T. K. Vo and Ha Thach and Huy Hung Nguyen and David Yang and Han H. Huynh and Quynh Nguyen and Tuan M. Pham and Tuan-Anh Le and Minh H. N. Le and Thanh-Huy Nguyen and Akash Awasthi and Chandra Mohan and Zhu Han and Hien Van Nguyen},
journal= {arXiv preprint arXiv:2512.10314},
year = {2025}
}