异构无线网络中基于独立采样的自适应联邦 LoRA

联邦 LoRA 通过减少可训练参数的数量，已成为在分布式设备上高效微调大型语言模型（LLMs）的一项极具前景的技术。然而，现有方法往往忽视了系统与数据异构性的理论和实际影响，从而未能优化整体训练效率，尤其是在实际时间方面。在本文中，我们提出了一种具有独立客户端采样的自适应联邦 LoRA 策略，旨在最小化计算与通信异构性下联邦微调的收敛实际时间。我们首先推导了在任意且独立的客户端采样下联邦 LoRA 的新收敛界，值得注意的是，该推导无需严格的梯度有界假设。然后，我们引入了一种自适应带宽分配方案，该方案考虑了异构的客户端资源与系统带宽限制。基于推导的理论，我们构建并求解了一个非凸优化问题，以联合确定 LoRA 草图比例和采样概率，旨在最小化实际收敛时间。我们开发了一种高效且低复杂度的算法来近似求解。最后，大量实验表明，与最先进的方法相比，我们的方法在各种模型和数据集上均显著减少了实际训练时间。