无监督的、与基础模型无关的全切片级别表示学习
计算机视觉与模式识别
2025-03-25 v3
摘要
病理学全切片图像（WSI）的表示学习主要依赖于基于多实例学习（MIL）的弱监督。这种方法导致切片表示高度定制于特定临床任务。自监督学习（SSL）已成功应用于训练组织病理学基础模型（FM）以生成图块嵌入。然而，生成患者或切片级别的嵌入仍然具有挑战性。现有的切片表示学习方法通过对齐切片的不同增强或利用多模态数据，将SSL原理从图块级别学习扩展到整个切片。通过整合来自多个FM的图块嵌入，我们提出了一种新的特征空间中的单模态SSL方法，生成有用的切片表示。我们的对比预训练策略称为COBRA，采用多个FM和基于Mamba-2的架构。COBRA在四个不同的公共临床蛋白质组肿瘤分析联盟（CPTAC）队列上的平均性能超过最先进的切片编码器至少+4.4% AUC，尽管仅在来自癌症基因组图谱（TCGA）的3048张WSI上进行了预训练。此外，COBRA在推理时与先前未见过的特征提取器兼容。代码可在https://github.com/KatherLab/COBRA获取。
引用
@article{arxiv.2411.13623,
title = {Unsupervised Foundation Model-Agnostic Slide-Level Representation Learning},
author = {Tim Lenz and Peter Neidlinger and Marta Ligero and Georg Wölflein and Marko van Treeck and Jakob Nikolas Kather},
journal= {arXiv preprint arXiv:2411.13623},
year = {2025}
}
备注
Got accepted at CVPR 2025