AI 语言病理学家的兴起：探索用于少样本弱监督全切片图像分类的两级提示学习
计算机视觉与模式识别
2024-01-30 v2
摘要
本文提出用于病理全切片图像 (WSI) 分类的少样本弱监督学习新概念，记为 FSWC。基于提示学习及大语言模型 GPT-4 的利用，给出了一种解决方案。由于 WSI 过大需划分为图块处理，WSI 分类通常作为多示例学习 (MIL) 问题处理。此背景下，每个 WSI 视为一个包，所得图块视为示例。FSWC 的目标是在仅少量标注包的条件下对包和示例进行分类。与常规少样本学习问题不同，FSWC 因 MIL 框架内的弱包标签而带来额外挑战。受近期视觉-语言模型 (V-L models) 在下游少样本分类任务中成果的启发，我们提出一种面向病理学的两级提示学习 MIL 框架，融入语言先验知识。具体而言，我们利用 CLIP 提取各图块的示例特征，并引入提示引导池化策略将这些示例特征聚为包特征。随后，我们使用少量标注包基于包特征进行少样本提示学习。我们的方法以问答模式利用 GPT-4 获取示例级与包级语言先验知识，并将其分别融入示例级与包级语言提示。此外，利用可用少样本标注数据训练语言提示的可学习组件。我们在涵盖乳腺癌、肺癌和宫颈癌的三个真实 WSI 数据集上进行充分实验，证明了所提方法在包与示例分类上的优异性能。所有代码将公开。
引用
@article{arxiv.2305.17891,
title = {The Rise of AI Language Pathologists: Exploring Two-level Prompt Learning for Few-shot Weakly-supervised Whole Slide Image Classification},
author = {Linhao Qu and Xiaoyuan Luo and Kexue Fu and Manning Wang and Zhijian Song},
journal= {arXiv preprint arXiv:2305.17891},
year = {2024}
}
备注
Accepted by NeurIPS 2023