xGen-MM（BLIP-3）：开放式大型多模态模型家族
计算机视觉与模式识别
2025-09-18 v4 人工智能
计算与语言
摘要
本文介绍BLIP-3，一个用于开发大型多模态模型（LMM）的开放框架。该框架包括精心挑选的数据集、训练配方、模型架构以及一套最终的LMM。我们发布了4B和14B模型，包括预训练基础模型和指令微调模型。我们的模型在包括单图和多图基准测试在内的一系列任务上进行了严格评估。我们的模型在具有相似模型规模的开源LMM中表现出竞争力。我们的所得LMM在开源LMM中表现出竞争力，能够理解交错的图像-文本输入。我们的训练代码、模型以及本工作中使用的所有数据集，包括我们创建的三个大规模数据集和预处理后的数据集，都将开源，以更好地支持研究社区。
引用
@article{arxiv.2408.08872,
title = {xGen-MM (BLIP-3): A Family of Open Large Multimodal Models},
author = {Le Xue and Manli Shu and Anas Awadalla and Jun Wang and An Yan and Senthil Purushwalkam and Honglu Zhou and Viraj Prabhu and Yutong Dai and Michael S Ryoo and Shrikant Kendre and Jieyu Zhang and Shaoyen Tseng and Gustavo A Lujan-Moreno and Matthew L Olson and Musashi Hinck and David Cobbley and Vasudev Lal and Can Qin and Shu Zhang and Chia-Chih Chen and Ning Yu and Juntao Tan and Tulika Manoj Awalgaonkar and Shelby Heinecke and Huan Wang and Yejin Choi and Ludwig Schmidt and Zeyuan Chen and Silvio Savarese and Juan Carlos Niebles and Caiming Xiong and Ran Xu},
journal= {arXiv preprint arXiv:2408.08872},
year = {2025}
}