面向中小企业的设备内大语言模型：挑战与机遇
人工智能
2024-10-23 v2 计算与语言
摘要
本文系统性地综述了在小型和中型企业（SMEs）中部署大语言模型（LLM）的基础设施需求，重点关注硬件和软件两个层面。从硬件角度，讨论了GPU和TPU等处理单元的利用、高效内存与存储解决方案，以及针对SME环境下资源受限的挑战所需的部署策略。从软件角度，探讨了框架兼容性、操作系统优化以及针对资源受限环境的专用库使用。本综述首先识别SME在设备内部署LLM所面临的独特挑战，随后探讨硬件创新和软件适配所带来的机遇。这种结构化的综述提供了实用性见解，显著贡献于社区，提升SME整合LLM的技术韧性。
引用
@article{arxiv.2410.16070,
title = {On-Device LLMs for SMEs: Challenges and Opportunities},
author = {Jeremy Stephen Gabriel Yee and Pai Chet Ng and Zhengkui Wang and Ian McLoughlin and Aik Beng Ng and Simon See},
journal= {arXiv preprint arXiv:2410.16070},
year = {2024}
}
备注
9 pages, 1 figure. The work is supported by the SIT-NVIDIA Joint AI Centre