基于多智能体副驾驶的人类病理学循证诊断推理
计算机视觉与模式识别
2026-03-30 v2 人工智能
摘要
在数字全切片成像和人工智能（AI）的推动下，病理学正经历快速的数字化转型。尽管基于深度学习的计算病理学取得了显著成功，但传统模型主要侧重于图像分析，未能整合自然语言指令或丰富的基于文本的上下文。当前计算病理学中的多模态大型语言模型（MLLMs）面临诸多局限性，包括训练数据不足、对多图理解的支持和评估不充分，以及缺乏自主的诊断推理能力。为了解决这些局限性，我们推出了PathChat+，一种专为人类病理学设计的新型MLLM，在超过100万个多样化的病理学特定指令样本和近550万个问答轮次上进行了训练。在多样化病理学基准上的广泛评估表明，PathChat+显著优于先前的PathChat副驾驶，以及最先进的（SOTA）通用模型和其他病理学特定模型。此外，我们提出了SlideSeek，一个支持推理的多智能体AI系统，利用PathChat+通过迭代的层次化诊断推理自主评估千兆像素级全切片图像（WSIs），在DDxBench这一具有挑战性的开放式鉴别诊断基准上达到了高准确率，同时还能生成具有视觉基础且人类可理解的总结报告。
引用
@article{arxiv.2506.20964,
title = {Evidence-based diagnostic reasoning with multi-agent copilot for human pathology},
author = {Luca L. Weishaupt and Chengkuan Chen and Drew F. K. Williamson and Richard J. Chen and Guillaume Jaume and Tong Ding and Bowen Chen and Anurag Vaidya and Long Phi Le and Guillaume Jaume and Ming Y. Lu and Faisal Mahmood},
journal= {arXiv preprint arXiv:2506.20964},
year = {2026}
}