马来语 Nusantara 个人智能系统 UniLM：混合式本设备小型语言模型与服务器式大型语言模型

在计算和数据资源有限的情境中，高资源语言模型往往难以满足马来语语言的特定需求。本文介绍了一个设计个人智能系统以高效集成本设备和服务器模型的系统。该系统包含针对低内存和低功耗优化的SLiM-34M用于本设备处理，以及用于服务器任务的MANYAK-1.3B，允许可扩展的高性能语言处理。该模型在各种任务上取得显著结果，包括机器翻译、问答和翻译IndoMMLU。值得注意的是，SLiM-34M在使用仅需其他LLM两倍的预训练标记数的情况下，即可实现显著的准确率提升。该工作挑战了大规模计算资源是构建有效语言模型必要性的主流假设，为马来语语言的开发贡献了高效的模型，凭借SLiM-34M与MANYAK-1.3B之间的独特协调。