量化大语言模型在各类智能手机上的性能评估
机器学习
2024-02-02 v1 人工智能
性能
摘要
本文探讨了在各种 Apple iPhone 机型上进行端侧大语言模型（LLM）推理的可行性与性能。在生成式 AI 快速发展的背景下，端侧 LLM 为基于云的模型固有的隐私、安全和连接性挑战提供了解决方案。利用现有关于在资源受限设备上运行数十亿参数 LLM 的文献，我们的研究考察了高性能 LLM 在不同智能手机世代间的热效应和交互速度。我们提供了真实世界的性能结果，为端侧推理能力提供了见解。
引用
@article{arxiv.2312.12472,
title = {A Performance Evaluation of a Quantized Large Language Model on Various Smartphones},
author = {Tolga Çöplü and Marc Loedi and Arto Bendiken and Mykhailo Makohin and Joshua J. Bouw and Stephen Cobb},
journal= {arXiv preprint arXiv:2312.12472},
year = {2024}
}
备注
7 pages, 3 Figures