FALFormer：用于全切片图像分类的特征感知地标自注意力
计算机视觉与模式识别
2024-07-12 v2
摘要
全切片图像（WSI）的切片级分类已被广泛认为是数字和计算病理学中的一个关键问题。由于切片数量庞大，当前方法通常将 WSI 视为裁剪图块的包，并通过多示例学习进行处理，这无法充分探索图块之间的关系；换言之，全局信息无法完全纳入决策中。在此，我们提出了一种高效且有效的切片级分类模型，命名为 FALFormer，它能够将 WSI 作为一个整体进行处理，从而充分利用整个图块之间的关系并提高分类性能。FALFormer 基于 Transformer 和自注意力机制构建。为了减轻原始自注意力机制的计算负担并一起处理 WSI 中的整个图块，FALFormer 采用了 Nyström 自注意力，它通过使用较少数量的 token 或地标来近似计算。为了有效学习，FALFormer 引入了特征感知地标，以增强地标的表示能力和近似质量。我们使用两个公共数据集（包括 CAMELYON16 和 TCGA-BRCA）系统评估了 FALFormer 的性能。实验结果表明，FALFormer 在两个数据集上均取得了优异的性能，超越了切片级分类的 state-of-the-art 方法。这表明 FALFormer 能够促进对 WSI 的准确而精确的分析，有可能改善 WSI 上的诊断和预后。
引用
@article{arxiv.2407.07340,
title = {FALFormer: Feature-aware Landmarks self-attention for Whole-slide Image Classification},
author = {Doanh C. Bui and Trinh Thi Le Vuong and Jin Tae Kwak},
journal= {arXiv preprint arXiv:2407.07340},
year = {2024}
}
备注
10 pages, 2 figures