基于注意力机制从 Whole Slide Image 分类中提取高诊断价值补丁
图像与视频处理
2025-07-08 v3 计算机视觉与模式识别
组织与器官
摘要
多实例学习 (MIL) 已在 Whole Slide Image (WSI) 分类领域广泛关注，因为它将像素级别的手动标注替换为诊断报告作为标签，从而显著降低了劳动成本。近期研究表明，基于袋级别的 MIL 方法往往产生更好的结果，因为它们可以将整个 WSI 的所有补丁作为整体来考虑。然而，这类方法的缺点是包含更多冗余补丁，导致干扰。为提取具有高诊断价值的补丁并排除干扰补丁，我们开发了一种基于注意力机制的特征蒸馏多实例学习 (AFD-MIL) 方法。该方法将冗余补丁作为预处理操作引入到弱监督学习中，直接缓解大量噪声的干扰。它还首次利用注意力机制提取具有高诊断价值的特征，与传统做法不同，后者会不加区分地强制整合所有补丁。此外，我们引入全局损失优化来细致控制特征蒸馏模块。AFD-MIL 与许多现有 MIL 方法是正交的，导致一致的性能提升。该方法在 Camelyon16 (Camelyon 挑战 2016，乳腺癌) 上取得了 91.47% ACC (准确率) 和 94.29% AUC (受试者工作曲线下面积) 的成绩，在 TCGA-NSCLC (The Cancer Genome Atlas 项目：非小细胞肺癌) 上实现了 93.33% ACC 和 98.17% AUC。针对两个数据集分别采用不同的特征蒸馏方法，以特定疾病为优化目标，从而提高了性能和可解释性。
引用
@article{arxiv.2407.19821,
title = {Distilling High Diagnostic Value Patches for Whole Slide Image Classification Using Attention Mechanism},
author = {Tianhang Nan and Hao Quan and Yong Ding and Xingyu Li and Kai Yang and Xiaoyu Cui},
journal= {arXiv preprint arXiv:2407.19821},
year = {2025}
}