探索大型语言模型去中心化训练的鲁棒性

大型语言模型的去中心化训练已成为普及该技术的有效方式。然而，与此方法相关的潜在威胁尚未得到仔细讨论，这将阻碍去中心化训练基础设施的发展。本文旨在通过从三个主要方面探索去中心化训练的鲁棒性来开启这一讨论。首先，我们展示了去中心化训练框架在硬件、数据和模型方面固有的脆弱性。其次，我们强调了去中心化基础模型训练与普通联邦学习之间的根本区别，联邦学习中使用的安全技术不能直接应用。第三，我们讨论了构建鲁棒且高效的去中心化训练框架所需的基本组件，并通过建模一个具体的威胁模型进行了案例研究。本愿景论文的目标是强调在大型语言模型去中心化训练背景下解决安全问题的重要性。