基于转录组学的计算病理学切片表示学习
计算机视觉与模式识别
2024-05-21 v1 人工智能
摘要
自监督学习（SSL）在构建小型组织学图像（例如224x224像素）的补丁嵌入方面取得了成功，但将这些模型扩展到从 gigabytes 大小的全切片图像（WSIs）中学习切片嵌入仍具有挑战性。本文利用来自基因表达轮廓的互补信息，通过多模态预训练来指导切片表示学习。表达轮廓构成组织的高度细致的分子描述，我们假设这些描述为学习切片嵌入提供了强大的无任务训练信号。我们的切片和表达（S+E）预训练策略，称为 Tangle，采用特定于模态的编码器，其输出通过对比学习对齐。Tangle 在三个不同器官的样本上进行预训练：肝脏（6,597 对 S+E 配对），乳腺（1,020），和肺（1,012），来自两个不同物种（Homo sapiens 和 Rattus norvegicus）。在由三个独立测试数据集组成的测试中，分别包含 1,265 例乳腺 WSIs、1,946 例肺 WSIs 和 4,584 例肝脏 WSI，Tangle 在少样本性能上显著优于监督和 SSL 基线方法。当采用原型分类和切片检索进行评估时，Tangle 也在所有基线方法上实现了显著的性能提升。代码可在 https://github.com/mahmoodlab/TANGLE 获取。
引用
@article{arxiv.2405.11618,
title = {Transcriptomics-guided Slide Representation Learning in Computational Pathology},
author = {Guillaume Jaume and Lukas Oldenburg and Anurag Vaidya and Richard J. Chen and Drew F. K. Williamson and Thomas Peeters and Andrew H. Song and Faisal Mahmood},
journal= {arXiv preprint arXiv:2405.11618},
year = {2024}
}
备注
CVPR'24, Oral