通过少量样本提示调优提升病理基础模型：针对罕见癌症亚型
计算机视觉与模式识别
2025-08-25 v1
摘要
罕见癌症占全部恶性肿瘤的20-25%，但因专家资源有限面临诊断挑战，尤其在儿童肿瘤学中，罕见癌症占病例超过70%。虽然病理视觉语言（VL）基础模型在常见癌症亚型上展现出零样本能力，但在罕见癌症的临床表现仍受限。现有多实例学习（MIL）方法仅依赖视觉特征，忽视跨模态知识，导致可解释性差，尤其在罕见癌症诊断中至关重要。为此，我们提出PathPT，一种新型框架，通过时空感知的视觉聚合和任务特定提示调优，充分发挥视觉语言病理基础模型的潜力。不同于传统MIL方法，PathPT利用VL模型的零样本能力，将WSI级别的监督转化为细粒度的切片级别指导，从而保留癌瘤区域的局部化，并通过与组织病理学语义对齐的提示实现跨模态推理。在八个罕见癌症数据集（四个成人、四个儿童）、56个亚型和2910个WSI上，以及三个常见癌症数据集、四个最先进的VL模型和四个MIL框架的三个少量样本设置下进行基准测试。结果表明，PathPT consistently 实现了性能的显著提升，在亚型分类准确率和癌瘤区域定位能力方面取得实质性提升。本工作推动了罕见癌症的AI辅助诊断，为在专家资源有限的场景下提高亚型诊断准确率提供了可扩展解决方案。
引用
@article{arxiv.2508.15904,
title = {Boosting Pathology Foundation Models via Few-shot Prompt-tuning for Rare Cancer Subtyping},
author = {Dexuan He and Xiao Zhou and Wenbin Guan and Liyuan Zhang and Xiaoman Zhang and Sinuo Xu and Ge Wang and Lifeng Wang and Xiaojun Yuan and Xin Sun and Yanfeng Wang and Kun Sun and Ya Zhang and Weidi Xie},
journal= {arXiv preprint arXiv:2508.15904},
year = {2025}
}