FLoRIST: 奇异值阈值用于高效且精确的大语言模型联邦微调

将低秩适配(LoRA)融入联邦学习为在不共享本地数据的情况下实现大语言模型(LLM)的参数高效微调提供了一种有前景的解决方案。然而，专为联邦LoRA设计的若干方法在平衡通信效率、模型准确率和计算成本方面面临显著挑战，尤其是在异构客户端之间。这些方法要么依赖对局部适配器的简单平均，从而引入聚合噪声；要么需要传输大型堆叠的局部适配器，导致通信效率低下；要么需要重构内存密集型的全局权重更新矩阵并执行计算昂贵的分解，以设计客户端特定的低秩适配器。在这项工作中，我们提出了FLoRIST，一个联邦微调框架，能够在无需高通信或计算开销的情况下实现数学上精确的聚合。FLoRIST不在服务器端构建完整的全局权重更新矩阵，而是通过对堆叠的局部适配器分别进行奇异值分解，利用一个紧凑的中间空间来表示来自局部LoRA的累积信息。我们引入了可调的奇异值阈值用于服务器端最优秩选择，以构建一对由所有客户端共享的全局低秩适配器。在多个数据集和LLM上的广泛实证评估表明，FLoRIST在同质和异构设置中始终在卓越的通信效率与竞争力强的性能之间取得了最佳平衡。