提示引导的自适应模型变换用于全切片图像分类
计算机视觉与模式识别
2024-03-20 v1
摘要
多实例学习（MIL）已成为组织病理学全切片图像（WSI）分类的流行方法。现有方法通常依赖冻结的预训练模型提取实例特征，忽视了预训练自然图像与组织病理学图像之间的显著领域偏移。为解决此问题，我们提出PAMT，一种新颖的提示引导自适应模型变换框架，通过将预训练模型无缝适配到组织病理学数据的特定特征，提升MIL分类性能。为捕捉复杂的组织病理学分布，我们引入代表性图块采样（RPS）和原型视觉提示（PVP）重构输入数据，构建紧凑且信息丰富的表征。此外，为缩小领域差距，我们引入自适应模型变换（AMT），在特征提取流程中集成适配器模块，使预训练模型能够学习领域特定特征。我们在两个公开数据集Camelyon16和TCGA-NSCLC上严格评估了我们的方法，展示了在各种MIL模型上的显著提升。我们的发现证实了PAMT在WSI分类中设立新基准的潜力，突显了针对性重编程方法的价值。
引用
@article{arxiv.2403.12537,
title = {Prompt-Guided Adaptive Model Transformation for Whole Slide Image Classification},
author = {Yi Lin and Zhengjie Zhu and Kwang-Ting Cheng and Hao Chen},
journal= {arXiv preprint arXiv:2403.12537},
year = {2024}
}