ZorBA：基于异构块激活的零阶方 Federated 精细调优
机器学习
2026-03-06 v1 人工智能
摘要
大型语言模型（LLM）的联邦精细调优（Federated Fine-tuning）使跨分布式客户端的协作调优成为可能。然而，由于 LLM 的庞大尺寸，联邦学习（FL）中的本地更新可能导致巨大的视频随机存取存储器（VRAM）用量。此外，频繁的模型交换可能导致显著的通信开销。为解决这些挑战，本文提出了 ZorBA—a 基于零阶优化的联邦精细调优框架，具有异构块激活。ZorBA 利用零阶优化消除客户端处的梯度存储，通过前向传播完成。ZorBA 包括一种异构块激活机制，其中中心服务器分配不同的Transformer块子集给客户端，以加快收敛速度并减少 VRAM 用量。此外，ZorBA 利用共享随机种子和梯度的有限差分来降低通信开销。我们进行理论分析来 characterize 块激活决策对收敛速度和 VRAM 用量的影响。为了同时提升收敛速度和降低 VRAM 用量，我们构建了一个优化问题以优化块激活决策。我们提出了一个 -约束 lexicographic 算法来解决该问题。实验结果表明，ZorBA 在 VRAM 用量上比三种联邦精细调优基线提高了最高可达 62.41%，且通信开销较低。
引用
@article{arxiv.2603.04436,
title = {ZorBA: Zeroth-order Federated Fine-tuning of LLMs with Heterogeneous Block Activation},
author = {Chuiyang Meng and Ming Tang and Vincent W. S. Wong},
journal= {arXiv preprint arXiv:2603.04436},
year = {2026}
}