面向Pan-Cancer识别与文本引导肿瘤定位的统一多基础模型切片表示
计算机视觉与模式识别
2026-04-28 v1
摘要
病理基础模型生态系统的不断扩张产生了强大但碎片化的切片级表示，限制了其在需要统一切片级推理并与临床有意义信息可解释关联的临床任务的应用。我们提出ASTRA，一个Pan-Cancer框架，将异构基础模型表示整合到共享的切片级表示空间中，并通过结构化病理注释字段（包括分类类别、癌症类型和解剖部位）对该空间进行语义对齐。ASTRA结合稀疏Mixture-of-Experts上下文编码、掩码多模型重构和对结构化病理提示的对比学习，学习支持4类别分类、3类别实心肿瘤分型、16类别癌症分型和文本引导肿瘤定位的切片表示，而无需像素级监督。在由10,359个全切片图像（WSIs）构成的CHTN cohort中开发，ASTRA在四个病理基础模型主干上均能实现Pan-Cancer分类的持续改进，4类别分类的宏观AUC最高达97.8%，3类别实心肿瘤分型达99.7%，16类别癌症分型达99.2%。在注释的内域CHTN子集中（n=380），ASTRA实现了0.897的平均Dice分数；在外部TCGA cohort中（n=1,686），实现了0.738的Dice分数。这些结果表明，源自切片级元数据的最小结构化病理注释字段可为统一切片表示学习提供有效的语义监督，使单一框架内实现Pan-Cancer预测和弱监督肿瘤定位成为可能。
引用
@article{arxiv.2604.22846,
title = {Unified Multi-Foundation-Model Slide Representation for Pan-Cancer Recognition and Text-Guided Tumor Localization},
author = {Tianyang Wang and Ziyu Su and Abdul Rehman Akbar and Usama Sajjad and Lina Gokhale and Charles Rabolli and Wei Chen and Anil Parwani and Muhammad Khalid Khan Niazi},
journal= {arXiv preprint arXiv:2604.22846},
year = {2026}
}