Snuffy：高效全切片图像分类器
计算机视觉与模式识别
2025-03-04 v3 人工智能
机器学习
神经与进化计算
图像与视频处理
摘要
数字病理学中基于多实例学习（MIL）的全切片图像（WSI）分类面临重大计算挑战。当前方法大多依赖广泛的自我监督学习（SSL）以获得满意性能，需要漫长的训练周期和大量计算资源。同时，由于从自然图像到WSI的领域偏移，任何预训练都不会影响性能。我们提出了Snuffy架构，一种基于稀疏Transformer的新型MIL池化方法，可减轻有限预训练带来的性能损失，并使持续少样本预训练成为一种有竞争力的选择。我们的稀疏模式针对病理学进行了定制，理论上被证明是通用逼近器，对稀疏Transformer的层数具有迄今为止最紧的概率尖锐界。我们在CAMELYON16和TCGA肺癌数据集上展示了Snuffy的有效性，实现了优越的WSI和切片级准确率。代码可在 https://github.com/jafarinia/snuffy 获取。
引用
@article{arxiv.2408.08258,
title = {Snuffy: Efficient Whole Slide Image Classifier},
author = {Hossein Jafarinia and Alireza Alipanah and Danial Hamdi and Saeed Razavi and Nahal Mirzaie and Mohammad Hossein Rohban},
journal= {arXiv preprint arXiv:2408.08258},
year = {2025}
}
备注
Accepted for ECCV 2024