PathReasoning: 用于 whole-slide 图像查询式 ROI navigation 的多模态推理智能体
计算机视觉与模式识别
2025-12-01 v1 人工智能
摘要
从 Whole Slide Images (WSIs) 中解码肿瘤微环境是癌症诊断、预后和治疗反应的关键环节。尽管这些超大分辨率图像（最高可达数十亿像素）提供了癌症的全景图景，但其庞大尺寸也使得针对不同临床检查定位到相应区域变得具有挑战性且耗时。灵感来自病理学家通过抽样、推理和自我反思组合导航 WSIs 的方式，我们提出了“PathReasoning”，一个能够通过多轮推理和细化在 WSIs 之间迭代导航的多模态推理智能体。具体而言，PathReasoning 从随机抽样的候选区域开始，审阅当前选择，基于视觉观察与临床问题之间的对应关系进行推理，然后提出新的探索区域。在每一轮中，PathReasoning 构建一条逐步引导注意力转向诊断相关区域的推理链。PathReasoning 将每张整张切片转化为一系列以问题为导向的视图，使模型能够在固定步数内高效找到有信息的 ROI，而无需密集的像素级标注。PathReasoning 在分子类型和纵向分析任务上分别比强大的 ROI 选择方法提高了 6.7% 和 3.1% 的 AUROC。所获得的高质量 ROI 进一步支持了对乳腺癌的准确报告生成，显著优于标准的 GPT-4o 方案约 10% 的准确率。PathReasoning 优先选择问题相关区域并构建可解释的推理链，支持高效切片审核、一致的诊断解释、综合报告生成以及证据可追溯性于数字病理学。
引用
@article{arxiv.2511.21902,
title = {PathReasoning: A multimodal reasoning agent for query-based ROI navigation on whole-slide images},
author = {Kunpeng Zhang and Hanwen Xu and Sheng Wang},
journal= {arXiv preprint arXiv:2511.21902},
year = {2025}
}