结合区块链与机器遗忘的跨组织协作大语言模型联邦学习

大语言模型（LLM）改变了计算机理解和处理人类语言的方式，但要在不同组织间有效使用它们仍然困难。当组织合作改进 LLM 时，它们面临几个主要挑战。首先，组织不愿与他人分享其宝贵的数据。其次，组织间的竞争在协作过程中引发了信任问题。第三，新的隐私法律要求组织能够根据请求删除特定数据，当多个组织从共享数据中学习时，这尤为困难。传统的联邦学习方法未能解决这些相互交织的挑战，特别是在参与者无法完全信任彼此或中央聚合器的场景中。为了克服这些局限性，我们提出了一种基于区块链的混合联邦学习框架，该框架独特地将公有和私有区块链架构与多智能体强化学习相结合。我们的框架通过公有区块链实现模型更新的透明共享，同时在私有链中保护敏感计算。每个组织作为一个智能体，使用 Q-learning 优化其参与策略和资源分配，从而使个人激励与集体目标保持一致。值得注意的是，我们引入了一种基于低秩适应（LoRA）的高效机器遗忘机制，该机制能够选择性地移除特定数据贡献而不损害模型的整体性能。通过在真实世界数据集上的大量实验，我们证明了我们的框架在保持高模型性能的同时，有效地平衡了隐私保护、信任建立和法规合规性。