医疗领域的多模态大语言模型：综合综述
机器学习
2025-05-01 v1 计算与语言
多媒体
摘要
多模态大语言模型（MLLMs）最近成为人工智能研究的焦点。基于大语言模型（LLMs）的强大能力，MLLMs 在处理复杂的多模态任务方面表现出色。随着 GPT-4 的发布，MLLMs 获得了来自不同领域的广泛关注。研究人员开始探索 MLLMs 在医疗和健康领域的潜力。本文首先介绍与 LLMs 和 MLLMs 相关的背景和基本概念，同时强调 MLLMs 的工作原理。随后，我们总结了医疗保健领域的三个主要应用方向：医学报告、医学诊断和医学治疗。我们的发现基于对该领域 330 篇近期论文的全面综述。我们通过提供具体案例，展示了 MLLMs 在这些领域的显著能力。对于数据，我们呈现了六种主流数据模式及其对应的评估基准。本综述在最后讨论了 MLLMs 在医疗和健康领域面临的挑战，并提出了可行的解决方法。
引用
@article{arxiv.2504.21051,
title = {Multimodal Large Language Models for Medicine: A Comprehensive Survey},
author = {Jiarui Ye and Hao Tang},
journal= {arXiv preprint arXiv:2504.21051},
year = {2025}
}