基于状态空间对偶性的多实例学习：用于计算病理学的 Mamba2MIL
计算机视觉与模式识别
2024-08-28 v1 人工智能
摘要
计算病理学（CPath）已显著推进了病理学临床实践。尽管取得了进展，多实例学习（MIL）作为 CPath 中的一种有前景的范式仍面临挑战，尤其是关于不完全信息利用。现有框架，如基于卷积神经网络（CNN）、注意力机制和选择扫描空间状态序列模型（SSM）的方法，缺乏足够的灵活性和可扩展性来融合多样化特征，无法有效融合多样化特征。此外，当前方法未充分利用与顺序相关和顺序独立的特征，导致序列信息的次优利用。为克服这些限制，我们提出了一种新的 MIL 框架，称为 Mamba2MIL。该框架利用状态空间对偶模型（SSD）来建模 whole slide images（WSIs）的补丁序列，并结合加权特征选择，支持更多分支特征的融合处理，可根据具体应用需求进行扩展。此外，我们引入了一种针对不同 WSI 大小的序列转换方法，旨加强序列无关特征的同时保留局部序列信息，从而提高序列信息的利用率。大量实验表明，Mamba2MIL 在几乎所有性能指标上均超越了最先进的 MIL 方法。在多个数据集上进行实验验证。具体而言，在 NSCLC 数据集上，Mamba2MIL 实现了二分类肿瘤分类的 AUC 为 0.9533，准确率为 0.8794。在 BRACS 数据集上，实现了多分类 AUC 为 0.7986，准确率为 0.4981。代码已在 https://github.com/YuqiZhang-Buaa/Mamba2MIL 上提供。
引用
@article{arxiv.2408.15032,
title = {Mamba2MIL: State Space Duality Based Multiple Instance Learning for Computational Pathology},
author = {Yuqi Zhang and Xiaoqian Zhang and Jiakai Wang and Yuancheng Yang and Taiying Peng and Chao Tong},
journal= {arXiv preprint arXiv:2408.15032},
year = {2024}
}