大型语言模型的去中心化低秩微调
机器学习
2025-08-25 v5
摘要
虽然低秩适应（LoRA）等参数高效微调（PEFT）技术为大型语言模型（LLM）提供了计算高效的适应方案，但其实际部署通常假设集中式数据和训练环境。然而，现实场景常涉及分布式且涉及隐私的 数据集，亟需去中心化解决方案。联邦学习（FL）通过在客户端之间协调模型更新来解决数据隐私问题，但通常基于集中式聚合（parameter server），可能引入瓶颈和通信约束。相比之下，去中心化学习消除了这种依赖，使客户端之间能够直接协作，在分布式环境中实现更好的可扩展性和效率。尽管如此，去中心化的LLM微调仍未得到广泛探索。本文提出Dec-LoRA，一种基于LoRA的LLM去中心化微调算法。通过在BERT和LLaMA-2模型上进行大量实验，我们证明Dec-LoRA在包括数据异构性和量化约束等各种条件下，能够实现与集中式LoRA相当的性能。此外，我们提供了一个严格的理论保证，证明该算法对非凸光滑损失函数具有收敛性，收敛到平稳点。这些发现凸显了Dec-LoRA在去中心化环境中实现LLM可扩展微调的潜力。
引用
@article{arxiv.2501.15361,
title = {Decentralized Low-Rank Fine-Tuning of Large Language Models},
author = {Sajjad Ghiasvand and Mahnoosh Alizadeh and Ramtin Pedarsani},
journal= {arXiv preprint arXiv:2501.15361},
year = {2025}
}