通过联邦学习优化多语言 LLM：客户语言组成研究

在多语言环境中对大型语言模型 (LLM) 进行联邦学习 presents significant 挑战，源于跨客户端语言分布的异构性以及语言资源可获得性的差异。为此，我们扩展了 FederatedScope-LLM 框架以支持 LLM 的多语言指令调优实验。我们还引入了一种新的客户端特定提前停止机制 Local Dynamic Early Stopping (LDES-FL)，允许客户端基于客户端侧验证性能暂停和恢复本地训练，从而提高训练效率和可持续性。通过一系列实验，我们研究了客户语言组成——从完全单语言到日益多语言化的客户端——如何影响多语言质量、公平性和训练成本。单语言本地微调对于单语言专业化仍最为有效，而联邦训练更适合学习单个平衡的多语言模型。在 FL 中，增加客户端内部的多语言化会导致更强更公平的全局模型，缩小与集中式多语言微调的差距，并为低资源语言带来最大收益，尽管需要更多的优化步骤。总体而言，我们的结果确定了客户语言组成作为多语言 FL 关键设计变量，塑造了性能、公平性和效率。