探索用于多示例学习全切片图像分类的视觉提示
计算机视觉与模式识别
2023-03-24 v1
摘要
多示例学习（MIL）已成为分类组织病理学全切片图像（WSI）的一种流行方法。然而，现有方法通常依赖来自大型自然图像数据集（如 ImageNet）的预训练模型来生成实例特征，由于自然图像与组织病理学图像之间存在显著差异导致域偏移，这可能存在次优问题。在本文中，我们提出了一种新颖、简单而有效的方法，用于从预训练模型到组织病理学图像的领域特定知识转换学习。我们的方法使用一个提示（prompt）组件来辅助预训练模型辨别预训练数据集与目标组织病理学数据集之间的差异，从而提升 MIL 模型的性能。我们在两个公开数据集 Camelyon16 和 TCGA-NSCLC 上验证了我们的方法。大量实验结果表明，我们的方法针对不同 MIL 模型和骨干网络均取得了显著的性能提升。本文发表后，我们将发布我们方法的源代码。
引用
@article{arxiv.2303.13122,
title = {Exploring Visual Prompts for Whole Slide Image Classification with Multiple Instance Learning},
author = {Yi Lin and Zhongchen Zhao and Zhengjie ZHU and Lisheng Wang and Kwang-Ting Cheng and Hao Chen},
journal= {arXiv preprint arXiv:2303.13122},
year = {2023}
}
备注
Submitted to MICCAI 2023