Giga-SSL：面向十亿像素图像的自监督学习
计算机视觉与模式识别
2022-12-08 v1 机器学习
定量方法
摘要
全切片图像(WSI)是染色组织切片的显微镜图像，常规用于医疗实践中的诊断与治疗选择。WSI非常大(十亿像素级)且复杂(由多达数百万个细胞组成)。当前分类WSI的SOTA方法将其细分为图块，用预训练网络编码，并应用多示例学习(MIL)训练特定下游任务。然而，标注数据集通常较小，一般几百到几千张WSI，可能导致过拟合与模型表现不佳。相反，未标注WSI数量持续增长，已有数万(即将达数百万)张图像的数据集可用。虽先前提出利用这些未标注数据通过自监督学习(SSL)识别合适图块表示，下游分类任务仍需全监督，因为MIL架构部分在图块级SSL预训练时未训练。此处，我们提出幻灯片级SSL策略，以利用大量无标注WSI推断强力幻灯片表示。将我们的方法应用于癌症基因组图谱(癌症研究中最广泛使用的数据资源之一，16 TB图像数据)，我们能在不损失预测能力下将数据集缩减至23 MB：我们展示在这些嵌入上训练的线性分类器在各种基准WSI分类任务上保持或超越先前SOTA性能。最后，我们观察到用微小数据集(如50张切片)在这些表示上训练分类器，相较SOTA在所有下游任务上平均提升+6.3 AUC点。
引用
@article{arxiv.2212.03273,
title = {Giga-SSL: Self-Supervised Learning for Gigapixel Images},
author = {Tristan Lazard and Marvin Lerousseau and Etienne Decencière and Thomas Walter},
journal= {arXiv preprint arXiv:2212.03273},
year = {2022}
}