询问、交互、集成：面向零样本多模态医学推理的主动代理协作框架
人工智能
2024-05-21 v1 计算与语言
计算机视觉与模式识别
摘要
大语言模型（LLM）在医疗保健领域的应用引发了广泛关注。然而，其在医疗领域的表现仍未得到充分调查，且可能受限于：i）缺乏丰富的领域特定知识和医学推理技能；ii）大多数最先进的LLM仍为单模态、仅文本模型，无法直接处理多模态输入。为此，我们提出一种多模态医学协作推理框架MultiMedRes，包含一个学习代理，主动从领域特定专家模型中获取essential信息，以解决医学多模态推理问题。我们的方法包括三个步骤：i）询问（Inquire）：学习代理首先将给定的复杂医学推理问题分解为多个领域特定子问题；ii）交互（Interact）：该代理通过重复“提问-回答”过程，与领域特定专家模型交互，以逐步获取不同领域的知识；iii）集成（Integrate）：该代理最终整合所有获取的领域知识，以准确解决医学推理问题。我们在X射线图像的视觉问答任务上验证了该方法的有效性。实验结果表明，我们的零样本预测实现了最先进的性能，甚至超越了完全监督的方法。此外，我们的方法可以集成到各种LLM和多模态LLM中，以显著提升其性能。
引用
@article{arxiv.2405.11640,
title = {Inquire, Interact, and Integrate: A Proactive Agent Collaborative Framework for Zero-Shot Multimodal Medical Reasoning},
author = {Zishan Gu and Fenglin Liu and Changchang Yin and Ping Zhang},
journal= {arXiv preprint arXiv:2405.11640},
year = {2024}
}