Merino：面向物联网设备的基于熵的生成式语言模型设计
机器学习
2025-01-28 v3 人工智能
计算与语言
摘要
生成式大语言模型 (LLM) 代表了人工智能时代的革命性进步。然而，在资源受限硬件（如物联网设备）上缩放 LLM 需要付出不寻常的努力和领域知识。在本文中，我们提出一种 novel 信息熵框架用于设计面向移动设备的生成式语言模型。整个设计过程涉及求解数学规划 (MP) 问题，可在 CPU 上完成，几乎为零成本。我们将所设计的模型称为 MeRino，跨越十四个 NLP 下游任务进行评估，表现出在移动设置下与最先进的自回归变压器模型具有竞争力。值得注意的是，MeRino 在语言建模和零样学习任务上，相较于 350M 参数的 OPT 模型，实现了相似或更好的性能，同时在 NVIDIA Jetson Nano 上快 4.9 倍，模型规模减少 5.5 倍。
引用
@article{arxiv.2403.07921,
title = {Merino: Entropy-driven Design for Generative Language Models on IoT Devices},
author = {Youpeng Zhao and Ming Lin and Huadong Tang and Qiang Wu and Jun Wang},
journal= {arXiv preprint arXiv:2403.07921},
year = {2025}
}
备注
AAAI 2025