BiMediX2：面向多模态医学的双语生物医学专家大语言模型
计算机视觉与模式识别
2025-11-04 v2
摘要
我们介绍了BiMediX2，一个双语（阿拉伯语-英语）生物医学专家大语言模型，支持基于文本和图像的医学交互。它支持阿拉伯语和英语的多轮对话，并支持多种医学成像模态，包括放射学、CT和组织病理学。为了训练BiMediX2，我们整理了BiMed-V，一个包含160万样本的广泛阿拉伯语-英语双语医疗数据集，涵盖多样化的医学交互。该数据集支持一系列医学大语言模型（LLM）和大语言多模态模型（LMM）任务，包括多轮医学对话、报告生成和视觉问答（VQA）。我们还引入了BiMed-MBench，这是第一个阿拉伯语-英语医学LMM评估基准，经医学专家验证。BiMediX2在多个医学LLM和LMM基准上表现出色，与其他开源模型相比达到了最先进的结果。在BiMed-MBench上，BiMediX2在英语评估中超越了现有方法超过9%，在阿拉伯语评估中提升了超过20%。此外，它在UPHILL事实准确性评估中超越了GPT-4约9%，并在各种医学VQA、报告生成和报告摘要任务中表现出色。我们训练的模型、指令集和源代码可在https://github.com/mbzuai-oryx/BiMediX2获取。
引用
@article{arxiv.2412.07769,
title = {BiMediX2: Bio-Medical EXpert LMM for Diverse Medical Modalities},
author = {Sahal Shaji Mullappilly and Mohammed Irfan Kurpath and Sara Pieri and Saeed Yahya Alseiari and Shanavas Cholakkal and Khaled Aldahmani and Fahad Khan and Rao Anwer and Salman Khan and Timothy Baldwin and Hisham Cholakkal},
journal= {arXiv preprint arXiv:2412.07769},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Findings)