单 GPU 任务适应性路径组织学基础模型用于全切片图像分析
计算机视觉与模式识别
2025-06-06 v1
摘要
路径组织学基础模型（PFMs）已成为分析全切片图像（WSIs）的强大工具。然而，对这些预训练的 PFMs 进行特定临床任务的适应性调整提出了重大挑战，主要由于仅提供用于巨像素图像的弱标签（WSI 级别），需要多实例学习（MIL）范式进行有效的 WSI 分析。本文提出了一种 novel 方法，用于单 GPU Task Adaptation of PFMs（TAPFM），该方法使用 vision transformer（ViT）注意力进行 MIL 聚合，同时优化特征表示和注意力权重。该方法维护 MIL 聚合器和 PFM 的独立计算图，以创建稳定的训练动力学，使其在端到端适应期间与下游任务目标保持一致。评估在脑膜瘤和肺腺癌的突变预测任务上进行，跨机构和TCGA 队列，TAPFM 一致优于传统方法，H-Optimus-0（TAPFM）超越基准。TAPFM 有效处理了可操作突变的多标签分类。因此，TAPFM 使对强大预训练 PFMs 在标准硬件上进行各种临床应用的适应成为可能。
引用
@article{arxiv.2506.05184,
title = {Single GPU Task Adaptation of Pathology Foundation Models for Whole Slide Image Analysis},
author = {Neeraj Kumar and Swaraj Nanda and Siddharth Singi and Jamal Benhamida and David Kim and Jie-Fu Chen and Amir Momeni-Boroujeni and Gregory M. Goldgof and Gabriele Campanella and Chad Vanderbilt},
journal= {arXiv preprint arXiv:2506.05184},
year = {2025}
}