MobileVLM：面向移动设备的快速、强大且开源的视觉语言助手
计算机视觉与模式识别
2024-01-02 v2
摘要
我们提出了 MobileVLM，一种旨在移动设备上运行的多模态视觉语言模型（MMVLM）。它是多种面向移动端的架构设计与技术的融合，包括一组从零开始训练的 1.4B 和 2.7B 参数规模的语言模型、以 CLIP 方式预训练的多模态视觉模型，以及通过高效投影器进行的跨模态交互。我们在几个典型的 VLM 基准上对 MobileVLM 进行了评估。我们的模型表现出与几个大得多的模型相当的性能。更重要的是，我们在 Qualcomm Snapdragon 888 CPU 和 NVIDIA Jetson Orin GPU 上均测量了推理速度，分别获得了 21.5 tokens 和 65.3 tokens 每秒的最先进性能。我们的代码将开源于：https://github.com/Meituan-AutoML/MobileVLM。
引用
@article{arxiv.2312.16886,
title = {MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices},
author = {Xiangxiang Chu and Limeng Qiao and Xinyang Lin and Shuang Xu and Yang Yang and Yiming Hu and Fei Wei and Xinyu Zhang and Bo Zhang and Xiaolin Wei and Chunhua Shen},
journal= {arXiv preprint arXiv:2312.16886},
year = {2024}
}
备注
Tech Report