GenieBlue：面向移动设备上大语言模型的语言与多模态能力集成
计算与语言
2025-03-11 v1 计算机视觉与模式识别
摘要
多模态大语言模型（MLLM）的最新进展使其能够在移动设备上部署。然而，在维持强大的语言能力与确保硬件兼容性方面仍存在挑战，这两者对于用户体验与实际部署效率至关重要。在我们的部署过程中，我们观察到现有的 MLLM 在纯语言任务上经常面临性能下降，且当前智能手机的 NPU 平台不支持 MoE 架构，而该架构通常用于在多模态训练期间保持纯语言能力。为了解决这些问题，我们系统地分析了在 MLLM 训练期间保持纯语言能力的方法，重点关注训练数据与模型架构两个方面。基于这些分析，我们提出了 GenieBlue，这是一种高效的 MLLM 结构设计，为移动设备上的 LLM 集成了语言与多模态能力。GenieBlue 在 MLLM 训练期间冻结原始 LLM 参数以保持纯语言能力。它通过复制特定的 transformer 块进行全量微调并集成轻量级 LoRA 模块来获取多模态能力。该方法在保持语言能力的同时，通过充分的训练实现了可比的多模态性能。部署在智能手机 NPU 上，GenieBlue 展示了其在移动设备应用上的高效性与实用性。
引用
@article{arxiv.2503.06019,
title = {GenieBlue: Integrating both Linguistic and Multimodal Capabilities for Large Language Models on Mobile Devices},
author = {Xudong Lu and Yinghao Chen and Renshou Wu and Haohao Gao and Xi Chen and Xue Yang and Xiangyu Zhao and Aojun Zhou and Fangyuan Li and Yafei Wen and Xiaoxin Chen and Shuai Ren and Hongsheng Li},
journal= {arXiv preprint arXiv:2503.06019},
year = {2025}
}
备注
14 pages