基于 MedOrch 的医疗决策中多智能体协作

复杂医疗决策涉及由不同临床医生操作的合作工作流程。设计人工智能多智能体系统可加速并增强人类水平的临床决策。现有多智能体研究主要聚焦于语言任务，其向多模态场景的拓展仍具挑战。盲目组合多样化视觉语言模型（VLM）可能放大错误结果的解释。与规模相当的大语言模型（LLM）相比，VLM 在指令遵循和重要的自我反思方面能力较弱。这一差异很大程度上限制了 VLM 在协作工作流程中的潜力。本研究提出 MedOrch，一种用于医疗多模态决策的仲裁者引导的多智能体协作框架。MedOrch 采用基于 LLM 的仲裁者代理，使多个基于 VLM 的专家代理能够交换并反思其输出以实现协作。我们使用多个开源通用和领域特定 VLM 而非高成本的 GPT 系列模型，揭示了异构模型的优势。我们展示，基于不同 VLM 的专家代理之间的协作可超越任何单个代理的能力。在五个医疗视觉问答基准测试上验证了该方法，表明无需模型训练即可实现优异的协作性能。我们的发现凸显了仲裁者引导的多智能体协作在推动医疗多模态智能方面的价值。