MiniCPM-V：您的手机上也能运行的 GPT-4 级多模态大语言模型
计算机视觉与模式识别
2024-08-06 v1
摘要
近期多模态大语言模型（MLLM）的快速发展彻底重塑了人工智能研究和产业格局，为下一阶段人工智能里程碑指明了前进路径。然而，实际应用中仍面临诸多挑战。最突出的问题在于运行参数庞大、计算需求巨大的 MLLM 成本高昂，导致大多数模型必须部署在高性能云端服务器，从而大幅限制了其在移动终端、离线场景、能源敏感环境以及隐私保护场景中的应用。本文介绍了 MiniCPM-V，一系列可在终端设备上部署的高效 MLLM。通过融合最新 MLLM 技术在架构、预训练和对齐方面的进展，MiniCPM-Llama3-V 2.5 具备以下显著特性：（1）性能卓越，在 OpenCompass 上的综合评估中超越 GPT-4V-1106、Gemini Pro 和 Claude 3；（2）强大的 OCR 能力和 180 万像素高分辨率图像感知，支持任意宽高比；（3）行为可靠，低幻觉率；（4）支持 30 多种语言；（5）可在移动手机上高效部署。更重要的是，MiniCPM-V 可视为一类有前景的趋势的典型代表：实现可用性能（如 GPT-4V 级）所需的模型规模正在快速降低，而终端计算能力的提升也在同步快速增长。这共同表明，GPT-4V 级 MLLM 在终端设备上的部署正变得日益可行，为未来短期内打开了更广泛的实际人工智能应用场景。
引用
@article{arxiv.2408.01800,
title = {MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
author = {Yuan Yao and Tianyu Yu and Ao Zhang and Chongyi Wang and Junbo Cui and Hongji Zhu and Tianchi Cai and Haoyu Li and Weilin Zhao and Zhihui He and Qianyu Chen and Huarong Zhou and Zhensheng Zou and Haoye Zhang and Shengding Hu and Zhi Zheng and Jie Zhou and Jie Cai and Xu Han and Guoyang Zeng and Dahai Li and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2408.01800},
year = {2024}
}
备注
preprint