自监督Vision Transformer在组织病理学中学习视觉概念
计算机视觉与模式识别
2022-03-02 v1 组织与器官
摘要
组织表型分析是癌症病理学中学习肿瘤-免疫微环境内组织病理学生物标志物客观表征的一项基本任务。然而，全切片成像（WSI）是一项复杂的计算机视觉任务，其复杂性在于：1）WSI具有巨大的图像分辨率，这阻碍了数据整理中的大规模像素级工作；2）形态表型的多样性导致组织标记中存在观察者间和观察者内的变异性。为了解决这些局限性，目前的研究提出使用预训练的图像编码器（从ImageNet迁移学习、自监督预训练）来从病理图像中提取形态特征，但尚未得到广泛验证。在本工作中，我们通过训练多种自监督模型并在多种弱监督和块级任务上进行验证，以寻找病理学中的良好表示。我们的关键发现是，使用基于DINO的知识蒸馏的Vision Transformers能够在组织学图像中学习到数据高效且可解释的特征，其中不同的注意力头学习到不同的形态表型。我们在以下网址公开了评估代码和预训练权重：https://github.com/Richarizardd/Self-Supervised-ViT-Path。
引用
@article{arxiv.2203.00585,
title = {Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology},
author = {Richard J. Chen and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2203.00585},
year = {2022}
}
备注
Learning Meaningful Representations of Life (NeurIPS 2021)