基于提示标记聚类的多实例学习：用于全切片图像分析的 PTCMIL
计算机视觉与模式识别
2025-07-28 v1 人工智能
摘要
多实例学习 (MIL) 已推动 WSI 分析，但在处理 WSIs 的复杂性和异质性方面存在挑战。现有 MIL 方法面临将多样化切片信息聚合到稳健 WSI 表示方面的挑战。虽然 ViT 和基于聚类的方法显示出前景，但它们计算密集且无法捕获任务特定和切片特定的变异性。为此，我们提出 PTCMIL，一种基于提示标记聚类的 ViT 用于 MIL 聚合。通过在 ViT 主干网络中引入可学习的提示标记，PTCMIL 将聚类和预测任务统一于端到端方式。它动态地将聚类与下游任务对齐，使用针对每个 WSI 定制的投影-based 聚类来降低复杂度同时保留切片异质性。通过标记合并和原型-based 池化，PTCMIL 高效捕获任务相关模式。大量实验在八个数据集上证明其在分类和生存分析任务中的优越性能，优于最新方法。系统化的消融研究确认其鲁棒性和强可解释性。代码已发布于 https://github.com/ubc-tea/PTCMIL。
引用
@article{arxiv.2507.18848,
title = {PTCMIL: Multiple Instance Learning via Prompt Token Clustering for Whole Slide Image Analysis},
author = {Beidi Zhao and SangMook Kim and Hao Chen and Chen Zhou and Zu-hua Gao and Gang Wang and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2507.18848},
year = {2025}
}