MSfusion：面向资源受限设备的动态模型分割协同训练大型模型方法

训练大型模型需要大量数据以及丰富的计算资源。虽然联合学习（如联邦学习）提供了一种从众多参与者处整合集体数据的 promising 范式，但大型模型的训练仍是资源受限参与者（如移动设备）的一个重大挑战。我们引入 MSfusion，一个有效且高效的协同学习框架，专为通过模型分割在资源受限机器上训练更大模型而设计。具体而言，设计了一种双向位移模型分割方案，使得在每个训练轮次中，每个参与者被分配一部分模型参数在本地数据上训练，并与其他同伴在公共参数上的子模型进行聚合。虽然模型分割显著减少了 individual 参与者的计算和通信成本，但额外的创新设计包括自适应模型重叠和对比损失函数，有助于 MSfusion 在参与者之间发生模型位移的情况下保持训练效果。在图像和 NLP 任务上的大量实验表明，MSfusion 在训练大型模型方面在性能和效率上具有显著优势，并且具有强大的可扩展性：随着参与者数量的增加，每个参与者的计算成本会显著降低。