病理基础模型中的免费午餐：基于概念引导的特征增强实现任务特定模型适应
计算机视觉与模式识别
2024-11-18 v1
摘要
全切片图像（WSI）分析在医学成像领域日益突出。病理基础模型的最新进展展示了从 WSI 中提取强大特征表示用于下游任务的潜力。然而，这些基础模型通常设计用于通用病理图像分析，可能并不适合特定的下游任务或癌症类型。在本工作中，我们提出了概念锚点引导的任务特定特征增强（CATE），一种可适应的范式，能够增强病理基础模型针对特定下游任务的表达力和判别力。基于从病理视觉-语言模型配合专家设计的提示词中获得的一组任务特定概念，我们引入了两个相互关联的模块，以动态校准基础模型为特定任务或癌症类型提取的通用图像特征。具体而言，我们设计了一个概念引导的信息瓶颈模块，通过最大化图像特征与概念锚点之间的互信息同时抑制多余信息，来增强任务相关特征。此外，我们提出了一个概念-特征干涉模块，利用校准后的特征与概念锚点之间的相似性，进一步生成判别性的任务特定特征。在公开 WSI 数据集上的大量实验表明，CATE 显著提升了多示例学习（MIL）模型的性能和泛化能力。此外，热力图和 UMAP 可视化结果也揭示了 CATE 的有效性和可解释性。源代码可在 https://github.com/HKU-MedAI/CATE 获取。
引用
@article{arxiv.2411.09894,
title = {Free Lunch in Pathology Foundation Model: Task-specific Model Adaptation with Concept-Guided Feature Enhancement},
author = {Yanyan Huang and Weiqin Zhao and Yihang Chen and Yu Fu and Lequan Yu},
journal= {arXiv preprint arXiv:2411.09894},
year = {2024}
}