面向全切片图像的端到端多源视觉提示调优生存分析
图像与视频处理
2024-09-09 v1
摘要
使用病理图像进行生存分析面临 considerable 挑战，因为需要定位来自全切片图像（WSIs）中众多切片中相关信息。当前方法通常采用两阶段方法，其中预训练的网络从切片中提取特征，然后由生存模型使用。然而，这种方法并未以端到端方式优化生存模型，预提取的特征可能不适合生存预测。为解决这一局限性，我们提出了一种新颖的端到端视觉提示调优框架，用于生存分析，命名为VPTSurv。VPTSurv通过高效的编码器-解码器框架细化特征嵌入。编码器保持固定，而该框架引入可调节的视觉提示和适配器，从而允许针对生存预测进行端到端训练，仅优化轻量级适配器和解码器。此外，灵活的VPTSurv框架可容纳多源信息作为提示，从而丰富生存模型。VPTSurv在两个免疫组织化学病理图像数据集上实现了C指数提升8.7%和12.5%。这些显著的改进凸显了端到端VPT框架相对于传统两阶段方法的变革性潜力。
引用
@article{arxiv.2409.03804,
title = {End-to-end Multi-source Visual Prompt Tuning for Survival Analysis in Whole Slide Images},
author = {Zhongwei Qiu and Hanqing Chao and Wenbin Liu and Yixuan Shen and Le Lu and Ke Yan and Dakai Jin and Yun Bian and Hui Jiang},
journal= {arXiv preprint arXiv:2409.03804},
year = {2024}
}