模拟病理学家：组织感知的整块切片图像推理
计算机视觉与模式识别
2026-03-31 v2
摘要
计算病理学近年来取得了快速进展，这主要归功于领域特定的图像编码器以及日益增长的兴趣使用视觉语言模型来回答关于疾病的自然语言问题。然而，病理学问答的核心问题仍未解决，因为 Gigapixel 切片包含远多于给定问题所需的信息。病理学家天然通过扫描广泛区域来导航组织和形态复杂度，并根据临床问题有选择地放大。当前模型相反依赖于均匀的 patch 采样或宽泛的注意力图，往往对无关区域注意力均等，忽略关键视觉证据。在本工作中，我们尝试让模型更接近人类实际检查切片的方式。我们提出了一种 question-guided、组织感知的、从粗到细的检索框架 HistoSelect，包含两个关键组件：识别问题相关组织区域的 group sampler，以及检索这些区域中最具信息量的 patch 的 patch selector。通过仅选择最具信息的 patch，本方法显著更高效：平均减少 70% 的视觉 token 使用，同时在三个病理学 QA 任务中提升准确率。我们在 356,000 个问答对上进行评估，结果表明该方法超越了现有方法，生成的答案基于可解释的、符合病理学家常规的区域。我们的结果表明，将人类式的搜索和注意力模式引入 WSI 推理是构建实用且可靠病理学 VLM 的有前景的方向。代码可在 https://github.com/winston52/HistoSelect 获取。
引用
@article{arxiv.2603.00667,
title = {Act Like a Pathologist: Tissue-Aware Whole Slide Image Reasoning},
author = {Wentao Huang and Weimin Lyu and Peiliang Lou and Qingqiao Hu and Xiaoling Hu and Shahira Abousamra and Wenchao Han and Ruifeng Guo and Jiawei Zhou and Chao Chen and Chen Wang},
journal= {arXiv preprint arXiv:2603.00667},
year = {2026}
}
备注
14 pages, 8 figures. Accepted by CVPR'26