MAM：面向多模态医学诊断的模块化多智能体框架与角色专化协作
计算与语言
2025-06-25 v1
摘要
近年来，医学大型语言模型（LLM）在推理与诊断能力方面取得了显著进展。尽管已取得成功，但当前的统一多模态医学 LLM 在知识更新成本、全面性与灵活性方面存在局限。为此，我们提出面向多模态医学诊断的模块化多智能体框架（MAM）。受我们经验发现的角色分配与诊断判断在 LLM 中的优势启发，MAM 将医学诊断过程分解为专门化角色：普通医生、专科团队、放射科医生、医学助理与主任，每种角色由基于 LLM 的智能体承担。这种模块化、协作式框架实现了高效的知识更新，同时利用现有的医学 LLM 与知识库。广泛的实验评估在大量公开的多模态医学数据集上进行，涵盖文本、图像、音频与视频等多种模态，结果显示 MAM 在多个模态特定 LLM 上 consistently 超越。值得注意的是，MAM 相较于基准模型实现了显著的性能提升，提升幅度 ranging from 18% 到 365%。我们的代码已发布于 https://github.com/yczhou001/MAM。
引用
@article{arxiv.2506.19835,
title = {MAM: Modular Multi-Agent Framework for Multi-Modal Medical Diagnosis via Role-Specialized Collaboration},
author = {Yucheng Zhou and Lingran Song and Jianbing Shen},
journal= {arXiv preprint arXiv:2506.19835},
year = {2025}
}
备注
ACL 2025 Findings