PathMR：用于可解释病理诊断的多模态视觉推理
计算机视觉与模式识别
2025-08-29 v1
摘要
深度学习驱动的自动病理诊断显著性地提高了诊断效率并减少了观察者之间的差异，但由于模型决策不透明且缺乏可追溯的依据，其临床应用仍受限。为此，近期出现的多模态视觉推理架构提供了统一框架，生成像素水平的分割掩码并伴随语义对齐的文本解释。通过局部化病灶区域并生成专家风格的诊断叙述，这些模型为可靠的AI辅助病理提供了透明且可解释的见解。基于这些进展，我们提出PathMR，一个用于病理图像分析的细胞水平多模态视觉推理框架。给定病理图像和文本查询，PathMR生成专家水平的诊断解释，同时预测细胞分布模式。为评估其性能，我们在公开的PathGen数据集以及我们新开发的GADVR数据集上进行了广泛实验。这些实验表明，PathMR在文本生成质量、分割精度和跨模态对齐方面 consistently 超过了最先进的视觉推理方法。这些结果凸显了PathMR在提高AI驱动病理诊断可解释性方面的潜力。代码将在 https://github.com/zhangye-zoe/PathMR 公开。
引用
@article{arxiv.2508.20851,
title = {PathMR: Multimodal Visual Reasoning for Interpretable Pathology Diagnosis},
author = {Ye Zhang and Yu Zhou and Jingwen Qi and Yongbing Zhang and Simon Puettmann and Finn Wichmann and Larissa Pereira Ferreira and Lara Sichward and Julius Keyl and Sylvia Hartmann and Shuo Zhao and Hongxiao Wang and Xiaowei Xu and Jianxu Chen},
journal= {arXiv preprint arXiv:2508.20851},
year = {2025}
}