文本梯度在联邦学习中能否工作？

近期研究表明，基于LLM的提示优化具有巨大的潜力，尤其是TextGrad，该方法通过文本自动化差分并反向传播文本反馈。这一方法促进了各种实际应用中的训练，这些应用不支持数值梯度传播或损失计算。在本文中，我们系统性地探讨了将文本梯度纳入联邦学习（FL）的潜力与挑战。我们的贡献包括四方面：首先，我们引入一种新型联邦学习范式，即联邦文本梯度 (FedTextGrad)，允许客户端上传由文本梯度派生的本地优化提示，而服务器则聚合接收到的提示。与传统FL框架不同，后者针对数值聚合进行设计，而FedTextGrad专为处理文本数据而设计，拓展了FL适用于更广泛问题的范围，这些问题缺乏明确定义的数值损失函数。其次，基于此设计，我们开展了大量实验以探讨FedTextGrad的可行性。我们的发现表明，正确调校关键因素（如本地步骤）在FL训练中至关重要。此外，我们突出了FedTextGrad聚合的一个重大挑战：保留来自分布式提示更新的关键信息。最后，为了应对这一问题，我们通过利用统一信息密度原则，对FeedTextGrad的基础变体进行改进，为LLM在总结客户端提示时提供可操作的指导。通过这一系统性研究，我们使文本梯度在FL中用于优化LLM成为可能，识别了重要问题，并指明了未来方向，从而开启了一项值得进一步调查的新研究领域。