ColA：基于梯度学习的协作适应
机器学习
2024-04-23 v1 人工智能
摘要
反向传播的一个主要功能是计算隐藏表示的梯度和用于梯度下降优化的参数。训练大型模型由于参数规模庞大而需要高计算成本。虽然参数高效微调（PEFT）方法旨在训练较小的辅助模型以节省计算空间，但它们仍然存在计算开销，尤其是在面向众多用户的微调即服务（FTaaS）中。我们引入了基于梯度学习（GL）的协作适应（ColA），这是一种无参数、模型无关的微调方法，它将隐藏表示梯度和参数的计算解耦。与PEFT方法相比，ColA通过将梯度计算卸载到低成本设备上，促进了更具成本效益的FTaaS。我们还提供了ColA的理论分析，并通过实验证明ColA在各种基准测试中能够达到或优于现有的PEFT方法。
引用
@article{arxiv.2404.13844,
title = {ColA: Collaborative Adaptation with Gradient Learning},
author = {Enmao Diao and Qi Le and Suya Wu and Xinran Wang and Ali Anwar and Jie Ding and Vahid Tarokh},
journal= {arXiv preprint arXiv:2404.13844},
year = {2024}
}