面向全癌种的组织病理全切片图像（WSI）预训练位置感知掩码自编码器
计算机视觉与模式识别
2024-12-09 v4
摘要
大规模预训练模型推动了组织病理图像分析的发展。然而，现有的自监督方法主要关注学习切片特征，而在针对全切片图像（WSI）级别的特征学习方面存在显著差距。本文提出一种新型自监督学习框架，用于全癌种WSI级别的表征预训练，设计了位置感知掩码自编码器（PAMA）。同时，我们提出了位置感知交叉注意力（PACA）模块，引入核重新定向（KRO）策略和锚点丢弃（AD）机制。KRO策略可以捕获完整的语义结构并消除WSI中的歧义，而AD有助于提高模型的鲁棒性和泛化能力。我们在来自多个器官的7个大型数据集上评估了该方法，用于全癌种分类任务。结果表明，PAMA在判别性WSI表征学习和全癌种WSI预训练方面具有有效性和良好的泛化能力。该方法与8种WSI分析方法进行了比较，实验结果表明，我们提出的PAMA优于现有的方法。代码和模型checkpoint可在https://github.com/WkEEn/PAMA获取。
引用
@article{arxiv.2407.07504,
title = {Pan-cancer Histopathology WSI Pre-training with Position-aware Masked Autoencoder},
author = {Kun Wu and Zhiguo Jiang and Kunming Tang and Jun Shi and Fengying Xie and Wei Wang and Haibo Wu and Yushan Zheng},
journal= {arXiv preprint arXiv:2407.07504},
year = {2024}
}