基于动态元嵌入的双查询多示例学习肿瘤分类
计算机视觉与模式识别
2023-11-20 v2
摘要
全切片图像（WSI）评估是癌症诊断与治疗规划中具挑战性且关键的一步。WSI 需要高倍放大以辅助亚细胞分析。在十亿像素级 WSI 背景下，用于块级甚至像素级分类的精确标注获取繁琐且需领域专家。而粗粒度标签则易于获取，这使 WSI 分类成为多示例学习（MIL）的理想用例。本工作中，我们提出一种新颖的基于嵌入的双查询 MIL 流程（DQ-MIL）。我们在嵌入与聚合两步均有贡献。由于通用视觉特征表示尚不可用，当前嵌入模型在泛化性上受限。我们通过工作探索了在 MIL 背景下基于前沿自监督预训练模型的动态元嵌入潜力。此外，我们提出一种能结合 MIL 注意力与相关自注意力的新 MIL 架构。我们方法的双查询 Perceiver 设计使我们能利用自蒸馏概念，并结合小模型在低数据场景下的优势与更大模型的丰富特征表示。我们在三个组织病理学数据集上展示了方法的优越性能，相较最先进方法提升达 10%。
引用
@article{arxiv.2307.07482,
title = {Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based Tumor Classification},
author = {Simon Holdenried-Krafft and Peter Somers and Ivonne A. Montes-Majarro and Diana Silimon and Cristina Tarín and Falko Fend and Hendrik P. A. Lensch},
journal= {arXiv preprint arXiv:2307.07482},
year = {2023}
}