通过细粒度块-文本对齐提升零样学习脑肿瘤亚型分类
计算机视觉与模式识别
2025-08-07 v2
摘要
由于亚临床形态差异和标注数据稀缺，脑肿瘤亚型从组织学全切片图像进行的细粒度分类高度具有挑战性。虽然视觉语言模型已实现前景的零样分类，但其捕捉细粒度病理特征的能力仍受限，导致亚型区分效果不佳。为解决这些挑战，我们提出了细粒度块对齐网络（Fine-Grained Patch Alignment Network, FG-PAN），这是一种针对数字病理学的新型零样学习框架。FG-PAN包含两个关键模块：（1）局部特征细化模块，通过建模代表性块之间的空间关系来增强块级视觉特征；（2）细粒度文本描述生成模块，利用大语言模型生成针对病理学的、类别特定的语义原型。通过对齐细化后的视觉特征与LLM生成的细粒度描述，FG-PAN在视觉空间和语义空间中有效提升了类别可分离性。在多个公开病理数据集上进行的广泛实验表明，FG-PAN在零样学习脑肿瘤亚型分类方面实现了最先进的性能并表现出稳健的泛化能力。
引用
@article{arxiv.2508.01602,
title = {Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment},
author = {Lubin Gan and Jing Zhang and Linhao Qu and Yijun Wang and Siying Wu and Xiaoyan Sun},
journal= {arXiv preprint arXiv:2508.01602},
year = {2025}
}