WSI-Agents：面向多模态全切片图像分析的协作式多智能体系统
计算机视觉与模式识别
2025-07-22 v1 人工智能
摘要
全切片图像（WSI）是数字病理学中的关键技术，使可实现跨各种病理学任务的 gigapixel 级组织分析。尽管近期在多模态大语言模型（MLLMs）方面的进展允许通过自然语言进行多任务WSI分析，但往往表现不如针对性任务的模型。协作式多智能体系统已被视为在平衡灵活性与准确性方面的有前景的解决方案，然而在病理学特定领域的潜力仍未得到充分探索。为此，我们提出 WSI-Agents，一种 novel 用于多模态WSI分析的协作式多智能体系统。WSI-Agents 将专业功能智能体与 robust 任务分配和验证机制集成，通过三个组件实现：（1）任务分配模块使用 patch 和 WSI 级别 MLLM 的 model zoo 为专家智能体分配任务；（2）验证机制通过内部一致性检查和外部验证（使用病理知识库和领域特定模型）确保准确性；（3）汇总模块综合最终摘要并生成可视化解释图。广泛的实验表明，WSI-Agents 在多模态WSI基准测试中优于当前WSI MLLM 和医学智能体框架，表现突出。
引用
@article{arxiv.2507.14680,
title = {WSI-Agents: A Collaborative Multi-Agent System for Multi-Modal Whole Slide Image Analysis},
author = {Xinheng Lyu and Yuci Liang and Wenting Chen and Meidan Ding and Jiaqi Yang and Guolin Huang and Daokun Zhang and Xiangjian He and Linlin Shen},
journal= {arXiv preprint arXiv:2507.14680},
year = {2025}
}