重构多实例学习中预训练特征提取器选择
计算机视觉与模式识别
2025-03-10 v5
摘要
多实例学习（MIL）已成为对巨像素whole slide image（WSI）分类的首选方法，无需切片级注释。当前MIL研究主要依赖基于嵌入的方法，这些方法使用预训练特征提取器提取切片特征并进行聚合以进行切片级预测。尽管特征提取在起关键作用，但存在关于选择最佳特征提取器以最大化WSI性能的指导意见不足。本研究通过在三个维度上系统评估MIL特征提取器：预训练数据集、骨干模型和预训练方法。针对两个公开WSI数据集（TCGA-NSCLC和Camelyon16）进行了广泛实验，使用四个最先进（SOTA）MIL模型。我们的发现表明：1）选择稳健的自监督学习（SSL）方法对性能影响大于仅依赖领域内预训练数据集；2）优先选择基于Transformer的更深层次的架构而非CNN-based模型；3）使用更大、更具多样性的预训练数据集可显著提升分类结果。我们希望这些见解能为优化WSI分类提供实用指导，并解释当前SOTA病理基础模型性能优势的原因。此外，这项工作可能 Inform 更有效的病理基础模型的开发。我们的代码已公开于https://github.com/bryanwong17/MIL-Feature-Extractor-Selection
引用
@article{arxiv.2408.01167,
title = {Rethinking Pre-Trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification},
author = {Bryan Wong and Sungrae Hong and Mun Yong Yi},
journal= {arXiv preprint arXiv:2408.01167},
year = {2025}
}
备注
Accepted to IEEE International Symposium on Biomedical Imaging (ISBI) 2025