Confidant：基于协同边缘训练定制 Transformer 架构大语言模型
机器学习
2023-11-23 v1 人工智能
分布式、并行与集群计算
摘要
基于 Transformer 的大语言模型（LLMs）已在多种自然语言处理（NLP）任务中展现出令人印象深刻的能力。然而，在算力、内存和能耗预算有限的移动边缘设备上部署和微调 LLMs 颇具挑战。本文提出 Confidant，一种多后端协同训练框架，用于在智能手机等商用移动设备上定制最先进的 LLMs。Confidant 将一个 LLM 划分为若干子模型，使每个子模型均能装入移动设备内存。进一步开发了流水线并行训练机制，以确保快速高效的分布式训练。此外，我们提出一种新颖的后端调度器，将不同的注意力头分配给包括移动 CPU 和 GPU 在内的异构计算硬件，以最大化每个边缘设备上的计算资源利用率。我们的初步实验结果表明，Confidant 在实际设置中实现了至多 45.3% 的内存削减和 8.03 倍的推理加速。
引用
@article{arxiv.2311.13381,
title = {Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training},
author = {Yuhao Chen and Yuxuan Yan and Qianqian Yang and Yuanchao Shu and Shibo He and Jiming Chen},
journal= {arXiv preprint arXiv:2311.13381},
year = {2023}
}
备注
6 pages, 7 figures; Submitted to HotMobile 2024