面向绿色 AI：基于自适应反向传播的大语言模型微调
机器学习
2024-03-01 v2 人工智能
摘要
微调是将预训练大语言模型（LLMs）适配到下游应用最有效的方式。随着 LLM 赋能的 AI 应用快速增长以及开源 LLM 的普及，非专家个人也能进行微调，但全球范围内密集执行的 LLM 微调可能导致极高的能耗与碳足迹，从而带来巨大的环境影响。缓解此类环境影响以迈向绿色 AI（Green AI）直接关联于降低微调的 FLOPs，但现有高效 LLM 微调技术因忽视微调中的反向传播代价，仅能实现有限的 FLOPs 削减。为克服该局限，本文提出 GreenTrainer，一种新颖的 LLM 微调技术，其自适应评估不同张量的反向传播代价及对微调模型准确率的贡献，通过选取训练中最合适的张量集合来最小化微调代价。GreenTrainer 中的此类选取基于给定的 FLOPs 削减目标做出，可灵活适配能源供给中的碳足迹及绿色 AI 的需求。在多个开源 LLM 模型与摘要生成数据集上的实验表明，相较于微调整个 LLM 模型，GreenTrainer 可在无任何明显模型准确率损失的情况下节省至多 64% 的微调 FLOPs。相较于 LoRa 等现有微调技术，GreenTrainer 在同等 FLOPs 削减下可实现至多 4% 的模型准确率提升。
引用
@article{arxiv.2309.13192,
title = {Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation},
author = {Kai Huang and Hanyun Yin and Heng Huang and Wei Gao},
journal= {arXiv preprint arXiv:2309.13192},
year = {2024}
}
备注
16 pages