Med-PMC：基于主动先问后观范式的医学个性化多模态咨询
计算与语言
2024-08-19 v1
摘要
多模态大语言模型(MLLMs)在医学临床场景中的应用仍未被充分探索。先前的基准测试仅关注MLLMs在医学视觉问答(VQA)或报告生成中的能力，而未能评估MLLMs在复杂临床多模态任务中的表现。本文提出了一种新的医学个性化多模态咨询(Med-PMC)范式，用于评估MLLMs的临床能力。Med-PMC构建了一个模拟的临床环境，要求MLLMs与患者模拟器交互以完成多模态信息收集和决策任务。具体而言，患者模拟器被赋予了个性化角色，以模拟真实场景中的多样化患者。我们进行了广泛实验以评估12种MLLMs，提供了MLLMs临床表现的全面视角。我们发现当前MLLMs在收集多模态信息方面存在不足，并在与个性化患者模拟器咨询时展现出决策偏差。进一步分析证明了Med-PMC的有效性，展示了其在指导鲁棒可靠临床MLLMs发展方面的潜力。代码和数据可在https://github.com/LiuHC0428/Med-PMC获取。
引用
@article{arxiv.2408.08693,
title = {Med-PMC: Medical Personalized Multi-modal Consultation with a Proactive Ask-First-Observe-Next Paradigm},
author = {Hongcheng Liu and Yusheng Liao and Siqv Ou and Yuhao Wang and Heyang Liu and Yanfeng Wang and Yu Wang},
journal= {arXiv preprint arXiv:2408.08693},
year = {2024}
}
备注
26 pages, 5 figures