可信边缘联邦学习：可扩展性与隐私性

联邦学习使得机器学习算法能够在多个去中心化边缘设备组成的网络上训练，而无需交换本地数据集。成功部署联邦学习需要确保智能体（例如移动设备）忠实地执行预期算法，而这一点在文献中很大程度上被忽视了。在本研究中，我们首先使用风险界来分析联邦学习的关键特征——不平衡且非独立同分布的数据——如何影响智能体自愿参与并顺从地遵循传统联邦学习算法的激励。更具体地说，我们的分析揭示，具有较不典型数据分布且样本相对较多的智能体更可能退出或篡改联邦学习算法。为此，我们形式化了首个联邦学习的可信实现问题，并设计了两种满足经济学性质、可扩展性与隐私性的可信联邦学习机制。此外，计算所有智能体支付的时间复杂度在智能体数量上为 $\mathcal{O}(1)$。首先，我们设计了一种可信联邦学习（FFL）机制，通过增量计算逼近 Vickrey-Clarke-Groves（VCG）支付。我们证明它实现了（可能是近似的）最优性、可信实现、自愿参与以及其他一些经济学性质（如预算平衡）。其次，通过将智能体划分为若干子集，我们提出了一种可扩展的 VCG 机制近似。我们进一步设计了一种可扩展且差分隐私的 FFL（DP-FFL）机制，即首个差分隐私可信机制，其保持了上述经济学性质。我们的机制使人能够在隐私、所需迭代次数与支付精度损失三者之间进行权衡。