作为固件的移动基础模型
人工智能
2024-03-13 v3
摘要
在当今环境中，智能手机已演变为托管众多旨在本地执行的深度学习模型的中心。推动本工作的一个关键认识是这些模型之间显著碎片化，表现为架构、算子和实现方式各异。这种碎片化对硬件、系统设置和算法的全面优化造成了沉重负担。受近期大型基础模型进展的鼓舞，本工作引入了移动 AI 的一个开创性范式：移动操作系统与硬件之间的协作管理， overseeing 一个能够服务广泛乃至全部移动 AI 任务的基础模型。该基础模型驻留在 NPU 中，并且不受应用或操作系统修订的影响，类似于固件。同时，每个应用贡献一个简洁的、离线微调的针对 distinct 下游任务的“适配器”。从这一概念产生了一种称为 \sys 的具体实例。它整合了精选的公开可用大语言模型（LLMs）并促进动态数据流。通过创建一个涵盖 50 个数据集上 38 个移动 AI 任务的详尽基准，包括计算机视觉（CV）、自然语言处理（NLP）、音频、感知和多模态输入等领域，证实了该概念的可行性。在该基准上，\sys 展现出令人印象深刻的性能。它在 85% 的任务中达到精度持平，在存储和内存方面表现出更好的可扩展性，并在配备 NPU 支持的商用现货（COTS）移动设备上提供令人满意的推理速度。这与为单个应用定制的特定任务模型形成鲜明对比。
引用
@article{arxiv.2308.14363,
title = {Mobile Foundation Model as Firmware},
author = {Jinliang Yuan and Chen Yang and Dongqi Cai and Shihe Wang and Xin Yuan and Zeling Zhang and Xiang Li and Dingge Zhang and Hanzi Mei and Xianqing Jia and Shangguang Wang and Mengwei Xu},
journal= {arXiv preprint arXiv:2308.14363},
year = {2024}
}
备注
17 pages, 15 figures, published to ACM MobiCom'24