Doctor Sun：面向生物医学人工智能的双语多模态大语言模型
机器学习
2025-12-30 v2 人工智能
计算与语言
多媒体
摘要
大语言模型（LMMs）在为各种生物医学任务（包括病理分析、放射报告生成和生物医学辅助）提供创新解决方案方面展现出巨大潜力。然而，现有的多模态生物医学人工智能通常基于基础大语言模型，因此在有限的医学训练数据下，难以理解复杂的医学概念。此外，近期受 LLaVA 启发的医学 LMMs 难以有效捕捉文本与图像之间的复杂关系。因此，我们推出了 Doctor Sun，这是一个专为医学领域设计的大型多模态生成模型，旨在编码、整合和解释文本与图像等多种生物医学数据模态。具体而言，Doctor Sun 将预训练的视觉编码器与医学大语言模型集成，并在各种医学数据集上进行两阶段训练，专注于特征对齐和指令微调。此外，我们发布了 SunMed-VL，一个广泛的双语医学多模态数据集，以及所有相关的模型、代码和资源，以自由支持生物医学多模态研究的进步。
引用
@article{arxiv.2508.08270,
title = {Doctor Sun: A Bilingual Multimodal Large Language Model for Biomedical AI},
author = {Dong Xue and Ziyao Shao and Zhaoyang Duan and Fangzhou Liu and Bing Li and Zhongheng Zhang},
journal= {arXiv preprint arXiv:2508.08270},
year = {2025}
}