基于自监督对比学习的双流多示例学习网络用于全切片图像分类
计算机视觉与模式识别
2021-04-05 v3 机器学习
摘要
我们致力于解决全切片图像 (WSI) 分类这一极具挑战性的问题。WSI 具有非常高的分辨率，且通常缺乏局部标注。当只有切片级标签可用时，WSI 分类可以被转化为多示例学习 (MIL) 问题。我们提出了一种基于 MIL 的方法，用于 WSI 分类和肿瘤检测，该方法不需要局部标注。我们的方法有三个主要组成部分。首先，我们引入了一种新颖的 MIL 聚合器，该聚合器在具有可训练距离度量的双流架构中对实例间的关系进行建模。其次，由于 WSI 会产生大或不平衡的包，从而阻碍 MIL 模型的训练，我们提出使用自监督对比学习来提取适用于 MIL 的良好表示，并缓解大包带来的过高内存成本问题。第三，我们采用金字塔融合机制处理多尺度 WSI 特征，进一步提高了分类和定位的准确性。我们的模型在两个具有代表性的 WSI 数据集上进行了评估。我们模型的分类准确率与全监督方法相比表现良好，在各数据集上的准确率差距不到 2%。我们的结果也优于所有先前基于 MIL 的方法。在标准 MIL 数据集上的额外基准测试结果进一步证明了我们的 MIL 聚合器在一般 MIL 问题上的卓越性能。GitHub 仓库：https://github.com/binli123/dsmil-wsi
引用
@article{arxiv.2011.08939,
title = {Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning},
author = {Bin Li and Yin Li and Kevin W. Eliceiri},
journal= {arXiv preprint arXiv:2011.08939},
year = {2021}
}
备注
CVPR 2021, accepted for oral presentation