跨异构云和高性能计算资源的安全联邦学习——以LLaMA 2联邦微调为例
分布式、并行与集群计算
2024-02-20 v1 机器学习
摘要
联邦学习使多个数据所有者能够协作训练鲁棒的机器学习模型，而无需传输大型或敏感的本地数据集，只需共享本地训练模型的参数。在本文中，我们详细阐述了我们的高级隐私保护联邦学习（APPFL）框架的设计，该框架通过利用Globus Compute（一个分布式函数即服务平台）和Amazon Web Services，简化了跨云计算设施和高性能计算资源的端到端安全可靠的联邦学习实验。我们进一步展示了APPFL在使用多个云资源和超级计算机微调LLaMA 2 7B模型时的用例。
引用
@article{arxiv.2402.12271,
title = {Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2},
author = {Zilinghan Li and Shilan He and Pranshu Chaturvedi and Volodymyr Kindratenko and Eliu A Huerta and Kibaek Kim and Ravi Madduri},
journal= {arXiv preprint arXiv:2402.12271},
year = {2024}
}