大模型的参数高效微调：全面综述
机器学习
2024-09-17 v7
摘要
大模型在多个应用领域代表了突破性进展，在各种任务中实现了显著成就。然而，其前所未有的规模伴随着巨大的计算成本。这些模型通常包含数十亿参数，需要海量计算资源来执行。特别是在将其定制于特定下游任务时，尤其是在计算能力受限的硬件平台上，其庞大的规模和计算需求带来了相当大的挑战。参数高效微调（PEFT）通过在各种下游任务中高效调整大模型，提供了一种实用的解决方案。具体而言，PEFT 是指调整预训练大模型的参数以使其适应特定任务或领域，同时最小化引入的额外参数数量或所需计算资源的过程。在处理具有高参数量的大规模语言模型时，这种方法尤为重要，因为从头微调这些模型在计算上可能极其昂贵且耗费大量资源，在支持系统平台设计中带来相当大的挑战。在本综述中，我们对各种 PEFT 算法进行了全面研究，考察了其性能与计算开销。此外，我们概述了使用不同 PEFT 算法开发的应用，并讨论了为降低 PEFT 计算成本而采用的常见技术。除了从算法角度提供广泛调研外，我们还考察了各种实际系统设计，以研究不同 PEFT 方法相关的实现成本。本综述旨在为希望了解 PEFT 算法及其系统实现的研究人员提供有价值的资源，提供详细的......
引用
@article{arxiv.2403.14608,
title = {Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey},
author = {Zeyu Han and Chao Gao and Jinyang Liu and Jeff Zhang and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2403.14608},
year = {2024}
}
备注
25 pages, 12 figures. Due to word limit, the abstract here is truncated. The full abstract is available in the PDF