MMedAgent：基于多模态智能体的医疗工具学习
计算与语言
2024-10-08 v2 人工智能
摘要
尽管多模态大语言模型（MLLM）取得了成功，但其通用性有限，往往不足以媲美专门模型。最近发展出的基于LLM的智能体通过根据用户输入选择合适的专用模型作为工具来解决这一问题，但这些进展在医疗领域的探索相对不足。为弥合这一差距，本文介绍了首个专为医疗领域设计的智能体，命名为 多模态医疗智能体（MMedAgent）。我们构建了由六个医疗工具解决七个任务构成的指令调优数据集，支持该智能体为给定任务选择最合适的工具。 comprehensive的实验表明，MMedAgent 在各种医疗任务上均优于最先进的开源方法，甚至优于闭源模型GPT-4o。此外，MMedAgent 在更新和集成新的医疗工具方面也表现出色。所有代码和模型均已公开。
引用
@article{arxiv.2407.02483,
title = {MMedAgent: Learning to Use Medical Tools with Multi-modal Agent},
author = {Binxu Li and Tiankai Yan and Yuanting Pan and Jie Luo and Ruiyang Ji and Jiayuan Ding and Zhe Xu and Shilong Liu and Haoyu Dong and Zihao Lin and Yixin Wang},
journal= {arXiv preprint arXiv:2407.02483},
year = {2024}
}
备注
EMNLP 2024