BlueLM-V-3B：面向移动设备多模态大语言模型的算法与系统协同设计
计算机视觉与模式识别
2024-11-19 v1 计算与语言
摘要
多模态大语言模型（MLLMs）的出现和日益普及，在改善沟通、促进学习和解决问题等方面，具有显著提升日常生活各个方面的潜力。手机作为日常必备伴侣，是MLLMs最有效、最易获取的部署平台，能够无缝集成到日常任务中。然而，由于内存大小和计算能力的限制，在手机上部署MLLMs面临挑战，若不进行广泛优化，难以实现流畅的实时处理。本文提出BlueLM-V-3B，这是一种专为在移动平台上高效部署MLLMs而设计的算法与系统协同设计方法。具体而言，我们重新设计了主流MLLMs采用的动态分辨率方案，并实施了面向硬件感知的系统优化，以优化手机上的模型推理。BlueLM-V-3B具有以下关键亮点：（1）小尺寸：BlueLM-V-3B包含一个27亿参数的语言模型和一个4亿参数的视觉编码器。（2）速度快：BlueLM-V-3B在联发科天玑9300处理器上，采用4位LLM权重量化，实现了24.4 token/s的生成速度。（3）性能强：BlueLM-V-3B在OpenCompass基准测试中，在参数规模≤4B的模型中取得了66.1的最高平均分，并超越了一系列参数规模大得多的模型（如MiniCPM-V-2.6、InternVL2-8B）。
引用
@article{arxiv.2411.10640,
title = {BlueLM-V-3B: Algorithm and System Co-Design for Multimodal Large Language Models on Mobile Devices},
author = {Xudong Lu and Yinghao Chen and Cheng Chen and Hui Tan and Boheng Chen and Yina Xie and Rui Hu and Guanxin Tan and Renshou Wu and Yan Hu and Yi Zeng and Lei Wu and Liuyang Bian and Zhaoxiong Wang and Long Liu and Yanzhou Yang and Han Xiao and Aojun Zhou and Yafei Wen and Xiaoxin Chen and Shuai Ren and Hongsheng Li},
journal= {arXiv preprint arXiv:2411.10640},
year = {2024}
}
备注
21 pages