基于病理知识增强的多实例提示学习：面向少样本全切片图像分类
计算机视觉与模式识别
2024-07-16 v1
摘要
当前用于病理图像分析的多实例学习算法通常需要大量全切片图像(Whole Slide Image, WSI)才能有效训练，但在数据有限的场景下表现不佳。临床环境中，由于患者隐私 concerns 和罕见或新兴疾病的存在，获取病理切片受限是不可避免的。少样本弱监督WSI分类的出现，解决了受限切片数据和稀疏切片级标签进行诊断的显著挑战。基于预训练模型(如CLIP)的提示学习似乎是一个有前景的方案；然而，该领域的当前研究受限，现有算法往往仅关注切片级提示或仅限于语言提示。本文提出一种增强病理知识的多实例提示学习框架，即在切片和切片级别整合视觉和文本先验知识到提示中。训练过程中采用静态提示和可学习提示的组合，有效引导预训练模型的激活，进一步促进关键病理模式诊断。引入轻量级信使(自注意力)和摘要(注意力池化)层，用于建模同一患者数据的切片间关系。此外，采用对齐注意力损失，确保视觉和文本可学习提示在切片和切片级别的特征对齐。我们的方法在三个具有挑战性的临床任务中表现优异，显著优于比较型的少样本方法。
引用
@article{arxiv.2407.10814,
title = {Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification},
author = {Linhao Qu and Dingkang Yang and Dan Huang and Qinhao Guo and Rongkui Luo and Shaoting Zhang and Xiaosong Wang},
journal= {arXiv preprint arXiv:2407.10814},
year = {2024}
}
备注
Accepted by ECCV 2024