基于交叉注意力的显著性推断用于全切片图像上的癌症转移预测
计算机视觉与模式识别
2023-09-19 v1
摘要
尽管多实例学习（MIL）方法被广泛用于全切片图像（WSI）上的自动肿瘤检测，但它们在小肿瘤 WSI 内极端类别不平衡的问题上表现不佳。这种情况发生在肿瘤仅由少数孤立细胞构成时。对于早期检测而言，MIL 算法能够识别小肿瘤至关重要，即使其大小不足 WSI 的 1%。现有研究尝试使用基于注意力的架构和基于实例选择的方法来解决此问题，但未能取得显著改进。本文提出基于交叉注意力的显著性实例推断 MIL（CASiiMIL），其包含一种新颖的显著性引导注意力机制，用于在无需任何标注的情况下识别 WSI 上的乳腺癌淋巴结微转移。除这一新注意力机制外，我们引入了一种负样本表示学习算法，以促进显著性引导注意力权重的训练，从而提升对肿瘤 WSI 的灵敏度。所提模型在两个流行的肿瘤转移检测数据集上优于最先进的 MIL 方法，并展现出良好的跨中心泛化能力。此外，它在分类具有小肿瘤病灶的 WSI 时表现出优异的准确率。并且，我们表明所提模型因显著性引导注意力权重而具有出色的可解释性。我们坚信所提方法将为在难以获取细粒度标注的大型数据集上训练早期肿瘤检测算法铺平道路。
引用
@article{arxiv.2309.09412,
title = {Cross-attention-based saliency inference for predicting cancer metastasis on whole slide images},
author = {Ziyu Su and Mostafa Rezapour and Usama Sajjad and Shuo Niu and Metin Nafi Gurcan and Muhammad Khalid Khan Niazi},
journal= {arXiv preprint arXiv:2309.09412},
year = {2023}
}