MsaMIL-Net: 一种端到端多尺度感知的多实例学习网络，用于高效全切片图像分类
计算机视觉与模式识别
2025-03-13 v2 人工智能
摘要
基于包的多实例学习（MIL）方法已成为全切片图像（WSI）分类的主流方法。然而，大多数现有方法采用分段训练策略，即首先使用预训练特征提取器提取特征，然后通过MIL进行特征聚合。这种分段训练方法导致特征提取网络与MIL网络之间协作优化不足，无法进行端到端联合优化，从而限制了模型的整体性能。此外，传统方法通常从所有固定尺寸的图块中提取特征，忽略了病理学家的多尺度观察特性。这不仅在肿瘤区域占比极小的情况下（如Camelyon16数据集）导致大量计算资源浪费，还可能导致模型陷入次优解。为解决这些限制，本文提出了一种端到端的多尺度WSI分类框架，将多尺度特征提取与多实例学习相结合。具体而言，我们的方法包括：（1）语义特征过滤模块，用于减少非病灶区域的干扰；（2）多尺度特征提取模块，用于捕获不同层级的病理信息；以及（3）多尺度融合MIL模块，用于全局建模和特征整合。通过端到端训练策略，我们同时优化特征提取器和MIL网络，确保两者之间的最大兼容性。实验在三个跨中心数据集（DigestPath2019、BCNB和UBC-OCEAN）上进行。结果表明，我们提出的方法在准确率（ACC）和AUC指标上均优于现有的最先进方法。
引用
@article{arxiv.2503.08581,
title = {MsaMIL-Net: An End-to-End Multi-Scale Aware Multiple Instance Learning Network for Efficient Whole Slide Image Classification},
author = {Jiangping Wen and Jinyu Wen and Meie Fang},
journal= {arXiv preprint arXiv:2503.08581},
year = {2025}
}
备注
summited to ICCV2025