联合学习中最小化层级激活范数以提高泛化性能

联合学习（Federated Learning, FL）是一种新兴的机器学习框架，使多个客户端（由服务器协调）能够通过聚合本地训练的模型而无需共享任何客户端的训练数据来共同训练全局模型。最近的研究表明，以联合方式进行学习可能导致聚合后的全局模型收敛到“尖锐极小值”，从而不利地影响该 FL 训练模型的可泛化性。因此，本 work 旨在通过引入“平坦性”约束的联合学习优化问题来提高在联合设置下训练的模型的泛化性能。这种平坦性约束施加在从训练损失计算的 Hessian 最大特征值上。由于每个客户端在其本地数据上训练模型，我们进一步利用客户端损失函数重新表述这一复杂问题，提出一种新的计算效率正则化技术，称为“MAN”，即 Minimizes Activation's Norm of each layer on client-side models。我们也理论上表明，最小化激活范数可减少客户端损失各层的 Hessian 最大特征值，从而降低整体 Hessian 的最大特征值，确保收敛到平坦极小值。我们将提出的平坦性约束优化应用于现有的 FL 技术，获得显著性改进，从而建立了新的状态-of-the-art。