PC-MoE：面向 Mixture-of-Experts LLM 的内存高效且隐私保护的协作训练
机器学习
2025-06-05 v2
摘要
Mixture-of-Experts（MoE）因其对大语言模型（LLM）的成功适应而日益受到欢迎。在这项工作中，我们引入了隐私保护协作 Mixture-of-Experts（PC-MoE），它利用 MoE 架构的稀疏性来实现内存高效的去中心化协作 LLM 训练，使得具有有限 GPU 内存和数据资源的多个参与方能够共同训练出比它们单独训练更强大的 LLM。同时，该方法通过将训练数据以及部分前向传播信号和梯度保留在各方本地，来保护每个参与者的训练数据隐私。在设计上，PC-MoE 协同地结合了分布式计算的优势与强大的机密性保证。与大多数以较低任务准确性换取机密性的隐私保护方案不同，我们的框架打破了这种权衡：在七个流行的 LLM 基准测试中，它几乎匹配（有时甚至超过）了完全集中式模型的性能和收敛速度，享有近 70% 的峰值 GPU RAM 减少，同时对重建攻击具有完全的鲁棒性。
引用
@article{arxiv.2506.02965,
title = {PC-MoE: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs},
author = {Ze Yu Zhang and Bolin Ding and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2506.02965},
year = {2025}
}
备注
20 pages, 4 figures