PhoneLM：通过原则性预训练实现高效且强大的小型语言模型家族
计算与语言
2024-11-11 v1 人工智能
机器学习
摘要
开发用于设备端部署的小型语言模型（SLM）的兴趣正在快速增长。然而，现有的 SLM 设计很少考虑设备硬件特性。相反，本工作提出了一种简单而有效的 SLM 设计原则：在预训练之前进行（近）最优运行时效率的架构搜索。基于这一原则，我们开发了 PhoneLM SLM 家族（目前包含 0.5B 和 1.5B 版本），在相似参数规模的模型中实现了最先进的 capability-efficiency 权衡。我们完全开源了 PhoneLM 的代码、权重和训练数据集以确保可复现性和透明度，包括 base 版本和 instructed 版本。我们还发布了一个经过微调的 PhoneLM 版本，能够准确调用 Android Intent，并提供一个端到端的 Android 演示。所有材料均可在 https://github.com/UbiquitousLearning/PhoneLM 获取。
引用
@article{arxiv.2411.05046,
title = {PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training},
author = {Rongjie Yi and Xiang Li and Weikai Xie and Zhenyan Lu and Chenghua Wang and Ao Zhou and Shangguang Wang and Xiwen Zhang and Mengwei Xu},
journal= {arXiv preprint arXiv:2411.05046},
year = {2024}
}