用于全切片图像分类的多尺度原型 Transformer
计算机视觉与模式识别
2023-07-06 v1
摘要
全切片图像(WSI)分类是计算病理学中的一项基本任务。尽管基于多示例学习(MIL)的 WSI 分类近期取得进展，但由于包中正负示例的极度不平衡以及融合 WSI 多尺度信息的复杂预处理，WSI 的准确分类仍具挑战性。为此，我们提出一种用于 WSI 分类的新型多尺度原型 Transformer (MSPT)，其包含原型 Transformer (PT) 模块与多尺度特征融合模块(MFFM)。PT 通过将原型学习整合进 Transformer 架构来减少包中冗余示例。它以聚类原型替代所有示例，随后通过 Transformer 的自注意力机制重新校准。此后，提出 MFFM 以融合不同尺度的聚类原型，其采用 MLP-Mixer 增强原型间的信息交流。在两个公开 WSI 数据集上的实验结果表明，所提 MSPT 优于所有对比算法，显示了其潜在应用价值。
引用
@article{arxiv.2307.02308,
title = {Multi-Scale Prototypical Transformer for Whole Slide Image Classification},
author = {Saisai Ding and Jun Wang and Juncheng Li and Jun Shi},
journal= {arXiv preprint arXiv:2307.02308},
year = {2023}
}