面向少数样本全切片图像分类的参数高效提示调优与层次化文本引导
计算机视觉与模式识别
2026-03-24 v1
摘要
全切片图像(WSIs)规模为吉像素级,通常被划分为小型实例以实现计算可行性。然而,获取大量实例级标注成本高昂,使得基于有限切片标签的少数样本弱监督 WSIs 分类(FSWC) 至关重要。最近,预训练视觉语言模型(VLMs)被用于 FSWC,但存在若干局限。现有 FSWC 提示调优方法显著增加可训练参数数量和推理开销。此外,当前方法丢弃与 VLMs 文本嵌入对齐性较低的实例,可能导致信息丢失。为解决这些挑战,我们提出两个关键贡献。首先,我们引入一种新的参数高效提示调优方法,通过对文本编码器中的特征进行尺度缩放和平移,显著降低计算成本。其次,为既利用 VLMs 的预训练知识,又利用 WSIs 本身的层次化结构,我们引入一种不使用硬实例过滤的软层次化文本引导策略进行 WSIs 表示学习。针对覆盖乳腺、肺和卵巢癌类型的病理数据集进行全面评估,结果显示在 FSWC 中 consistently 提升最高可达 10.9%、7.8% 和 13.8%。本方法在乳腺和肺癌数据集上将可训练参数数量减少 18.1%,在卵巢癌数据集上减少 5.8%,同时在弱监督肿瘤定位方面也表现出色。代码地址: https://github.com/Jayanie/HIPSS。
关键词
引用
@article{arxiv.2603.21504,
title = {Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification},
author = {Jayanie Bogahawatte and Sachith Seneviratne and Saman Halgamuge},
journal= {arXiv preprint arXiv:2603.21504},
year = {2026}
}
备注
Accepted for publication at CVPR 2026 Workshop on Medical Reasoning with Vision Language Foundation Models (Med-Reasoner)