LEGO：语言模型构建块
计算与语言
2024-10-25 v1 机器学习
摘要
大型语言模型（LLMs）是自然语言处理（NLP）中必不可少的技术，但在数据收集、预训练、微调和推理方面成本高昂。特定任务的小型语言模型（SLMs）提供了更经济的替代方案，但缺乏鲁棒性和泛化能力。本文提出了 LEGO 技术，从 LLM 中提取 SLMs 并重新组合它们。利用最先进的 LLM 剪枝策略，我们可以创建面向特定任务和用户的 SLMs 构建模块，这些模块在微调和推理时高效且也保留了用户数据隐私。LEGO 利用联邦学习和一种新颖的聚合方案进行 LLM 重建，在不高成本的前提下保持鲁棒性，同时保留用户数据隐私。我们通过实验演示了 LEGO 的多样性，展示了其实现模型异构性、缓解数据异构性影响并保持 LLM 鲁棒性的能力。
引用
@article{arxiv.2410.18287,
title = {LEGO: Language Model Building Blocks},
author = {Shrenik Bhansali and Alwin Jin and Tyler Lizzo and Larry Heck},
journal= {arXiv preprint arXiv:2410.18287},
year = {2024}
}