通过主子模型训练在边缘端联邦学习大模型

联邦学习（FL）正作为一种流行且有前景的去中心化学习框架兴起，它使客户端能够协同训练，而无需在彼此之间或与中心服务器共享私有数据。然而，考虑到许多边缘客户端不具备充足的计算、内存或通信能力，大模型的联邦学习仍面临显著瓶颈。为使这类资源薄弱但关键的客户端留在训练循环中，已有工作要么考虑异构客户端设置（客户端训练不同大小的模型），要么将训练卸载至服务器。但异构客户端设置要求部分客户端训练完整模型，与资源受限设置不符；而后者在与服务器共享中间表示或标签时违背了FL的隐私承诺。为克服这些局限，本文提出了一种现实却少有探索的跨设备FL设置：任何客户端都无法训练完整大模型，也不愿与远程服务器共享任何中间信息。在此设定下，我们开发了主子模型（PriSM）训练方法，以协同训练完整大模型，同时为每个客户端分配一个小的子模型，该子模型是对完整服务器模型的概率低秩近似。在创建子模型时，PriSM首先在正交核空间中进行主核分析以获得各核的重要性，随后采用一种新颖的感知重要性采样过程来选取核的子集（即重要性高的核被赋予更高的采样概率）。该采样过程确保每个子模型仍是完整模型的低秩近似，而所有子模型一起在主核上实现近乎完全的覆盖。