将知识概念对齐至全切片图像以实现精准组织病理图像分析
计算机视觉与模式识别
2024-11-28 v1 机器学习
摘要
由于大尺寸且缺乏细粒度标注，全切片图像（WSIs）分析通常被方法化为多实例学习（MIL）问题。然而，先前的研究仅从训练数据中学习，与人类临床医生相互教学和推理组织病理实体和因素的过程形成鲜明对比。本文提出一种新颖的知识概念基于 MIL 框架，命名为 ConcepPath 以弥补这一差距。具体而言，ConcepPath 利用 GPT-4 从医学文献中诱导出可靠的疾病特定人类专家概念，并将其与一组纯粹可学习的概念相结合，从训练数据中提取互补的知识。在 ConcepPath 中，WSIs 利用病理视觉语言模型作为基本组件与这些语言知识概念对齐。在肺癌亚型、乳腺癌 HER2 评分和胃癌免疫治疗敏感性亚型任务中，ConcepPath 显著优于缺乏人类专家知识指导的先前 SOTA 方法。
引用
@article{arxiv.2411.18101,
title = {Aligning Knowledge Concepts to Whole Slide Images for Precise Histopathology Image Analysis},
author = {Weiqin Zhao and Ziyu Guo and Yinshuang Fan and Yuming Jiang and Maximus Yeung and Lequan Yu},
journal= {arXiv preprint arXiv:2411.18101},
year = {2024}
}