Prompt-MIL：通过任务特定提示调优提升多示例学习框架
计算机视觉与模式识别
2023-10-06 v2
摘要
全切片图像（WSI）分类是计算病理学中的关键任务，需要处理十亿像素级图像，这对当前深度学习方法而言具有挑战性。当前最先进的方法基于多示例学习框架（MIL），通常依赖预训练特征来表示示例。由于缺乏任务特定的标注数据，这些特征要么来自自然图像上成熟的骨干网络，要么（更近期地）来自在组织病理学上自监督预训练的模型。然而，这两种方法均产生任务无关的特征，与若有合适的任务相关监督相比会导致性能损失。本文中，我们表明当任务特定标注有限时，可将此类监督注入下游任务训练，以缩小完全任务调优与任务无关特征之间的差距。我们提出 Prompt-MIL，一种将提示集成到 WSI 分类中的 MIL 框架。Prompt-MIL 采用提示调优机制，仅以极小比例参数校准预训练特征以编码任务特定信息，而非传统的全微调方法。在三个 WSI 数据集 TCGA-BRCA、TCGA-CRC 和 BRIGHT 上的大量实验证明了 Prompt-MIL 优于常规 MIL 方法，在准确率上取得 1.49%–4.03% 的相对提升，在 AUROC 上取得 0.25%–8.97% 的相对提升，同时使用的额外参数少于 0.3%。与常规全微调方法相比，我们微调少于 1.3% 的参数，却在准确率上取得 1.29%–13.61% 的相对提升，在 AUROC 上取得 3.22%–27.18% 的相对提升，并将 GPU 内存消耗降低 38%–45%，同时训练加快 21%–27%。我们的代码见 https://github.com/cvlab-stonybrook/PromptMIL。
引用
@article{arxiv.2303.12214,
title = {Prompt-MIL: Boosting Multi-Instance Learning Schemes via Task-specific Prompt Tuning},
author = {Jingwei Zhang and Saarthak Kapse and Ke Ma and Prateek Prasanna and Joel Saltz and Maria Vakalopoulou and Dimitris Samaras},
journal= {arXiv preprint arXiv:2303.12214},
year = {2023}
}
备注
Accepted to MICCAI 2023 (Oral)