中文

AdaFusion:基于自适应融合的路径学基础模型提示导引推理

计算机视觉与模式识别 2025-09-15 v2

摘要

路径学基础模型(PFMs)通过在大规模无标注组织病理图像数据集上进行自监督预训练,展现出强大的表示能力。然而,这些模型的多样化且不透明的预训练背景——受数据相关因素和结构/训练因素的影响——引入潜在偏见,阻碍了下游应用的可扩展性和透明性。本文提出 AdaFusion,一种 novel 的提示导引推理框架,鉴于我们所知的是首次动态整合来自多个 PFMs 的互补知识。我们的方法压缩并对齐来自不同模型的瓦片级特征,并采用轻量级注意力机制根据组织表型上下文自适应地融合它们。在三个真实世界基准(治疗反应预测、肿瘤分级、空间基因表达推断)上进行评估,我们的方法在分类和回归任务中均一致优于单个 PFMs,同时为每个模型的 biosemantic 专长提供了可解释见解。这些结果凸显了 AdaFusion 在桥接异构 PFMs 方面的能力,实现了提升性能和解释性的模型特定归纳偏见。

关键词

引用

@article{arxiv.2508.05084,
  title  = {AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models},
  author = {Yuxiang Xiao and Yang Hu and Bin Li and Tianyang Zhang and Zexi Li and Huazhu Fu and Jens Rittscher and Kaixiang Yang},
  journal= {arXiv preprint arXiv:2508.05084},
  year   = {2025}
}

备注

6 Tables, 11 Figures