FAST: 一种用于全切片图像分类的双层小样本学习范式
计算机视觉与模式识别
2024-10-01 v1
摘要
昂贵的细粒度标注和数据稀缺已成为基于深度学习的全切片图像（WSI）分类算法在临床实践中广泛采用的主要障碍。与自然图像中可利用每张图像标签的小样本学习方法不同，现有WSI小样本分类方法仅使用少量细粒度标签或弱监督的切片级标签进行训练，以避免昂贵的细粒度标注。它们对可用WSI的挖掘不足，严重限制了WSI分类性能。为解决上述问题，我们提出了一种新颖且高效的用于WSI分类的双层小样本学习范式，命名为FAST。FAST由双层标注策略和双分支分类框架组成。首先，为避免昂贵的细粒度标注，我们在切片级别收集非常少量的WSI，并标注极少量的图块。然后，为充分挖掘可用WSI，我们使用所有图块和可用图块标签构建一个缓存分支，该分支利用标注图块学习未标注图块的标签，并通过知识检索进行图块分类。除缓存分支外，我们还构建了一个包含可学习提示向量的先验分支，使用视觉-语言模型的文本编码器进行图块分类。最后，我们整合两个分支的结果以实现WSI分类。在二分类和多分类数据集上的大量实验表明，我们提出的方法显著超越了现有小样本分类方法，并且仅以0.22%的标注成本就接近了全监督方法的准确率。所有代码和模型将在 https://github.com/fukexue/FAST 公开。
引用
@article{arxiv.2409.19720,
title = {FAST: A Dual-tier Few-Shot Learning Paradigm for Whole Slide Image Classification},
author = {Kexue Fu and Xiaoyuan Luo and Linhao Qu and Shuo Wang and Ying Xiong and Ilias Maglogiannis and Longxiang Gao and Manning Wang},
journal= {arXiv preprint arXiv:2409.19720},
year = {2024}
}
备注
Accepted to NeurIPS 2024