基于广义相关噪声优化去中心化学习中的隐私-效用权衡

去中心化学习使分布式代理人能够通过本地计算和点对点通信在没有中心服务器的情况下协同训练共享的机器学习模型。虽然每个代理人保留其本地数据集，但在代理人之间共享本地模型仍可能暴露有关本地训练数据集的私人信息。为了缓解隐私攻击，常见策略是在每个代理人交换本地模型之前注入随机人工噪声。然而，这往往会因累积的人工噪声对学习算法产生负面影响而导致效用下降。本文我们引入CorN-DSGD，一种基于协方差的框架，用于在代理人之间生成相关的隐私噪声，该框架将多个最先进的方法作为特殊情况。通过利用网络拓扑和混合权重，CorN-DSGD优化噪声协方差以实现网络范围的噪声消除。实验结果表明，CorN-DSGD比现有成对相关方案消除更多噪声，在形式隐私保证下提高了模型性能。