利用NVIDIA FLARE赋能大规模模型的联邦学习
机器学习
2024-02-13 v1 分布式、并行与集群计算
摘要
在人工智能（AI）和大语言模型（LLMs）不断发展的背景下，有效处理和利用数据已成为一项关键挑战。大多数最先进的机器学习算法都是以数据为中心的。然而，作为模型性能的命脉，必要的数据由于隐私、法规、地缘政治、版权问题以及移动海量数据集所需的大量工作等各种因素，并不总能被集中。在本文中，我们探讨了由NVIDIA FLARE支持的联邦学习如何通过简单且可扩展的集成能力来应对这些挑战，实现对自然语言处理和生物制药应用中的LLM进行参数高效和全监督微调，以提高其准确性和鲁棒性。
引用
@article{arxiv.2402.07792,
title = {Empowering Federated Learning for Massive Models with NVIDIA FLARE},
author = {Holger R. Roth and Ziyue Xu and Yuan-Ting Hsieh and Adithya Renduchintala and Isaac Yang and Zhihong Zhang and Yuhong Wen and Sean Yang and Kevin Lu and Kristopher Kersten and Camir Ricketts and Daguang Xu and Chester Chen and Yan Cheng and Andrew Feng},
journal= {arXiv preprint arXiv:2402.07792},
year = {2024}
}