革新移动交互：在移动端实现 30 亿参数 GPT 大语言模型
计算与语言
2023-10-04 v1 人工智能
机器学习
摘要
人工智能领域近年来取得显著进展，尤其是基于 transformer 架构的强大大语言模型（LLM）的出现。基于云的 LLM，如 OpenAI 的 ChatGPT，提供令人印象深刻的能力，但因网络依赖带来延迟与隐私方面的担忧。本文提出一种 LLM 推理的创新方法，设想未来数十亿参数的 LLM 可直接在移动设备上运行而无需网络连接。文章展示了一个微调的 30 亿参数 GPT LLM，可在内存低至 4GB 的设备上流畅运行。通过原生代码集成与模型量化技术，该应用不仅作为通用助手，还借助文本转操作功能实现无缝移动交互。文章提供了训练流程、实现细节、测试结果及设备端 LLM 推理未来方向的洞见。这一突破性技术为用户赋予尖端 AI 能力的同时保护隐私并消除延迟担忧，开辟了可能。
引用
@article{arxiv.2310.01434,
title = {Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile},
author = {Samuel Carreira and Tomás Marques and José Ribeiro and Carlos Grilo},
journal= {arXiv preprint arXiv:2310.01434},
year = {2023}
}