利用QUBO增强联邦学习隐私

联邦学习（FL）是一种广泛使用的可扩展训练机器学习（ML）模型同时保护隐私（即不集中原始数据）的方法。先前研究表明，随着客户端更新被纳入聚合模型的迭代次数增加，暴露敏感数据的风险会累积增加。攻击者可以发起成员推断攻击（MIA；判断样本或客户端是否参与）、属性推断攻击（PIA；推断客户端数据的属性）和模型反转攻击（MI；重建输入），从而推断客户端特定属性，在某些情况下还能重建输入。在本文中，我们通过使用一种受量子计算启发的二次无约束二元优化（QUBO）公式，大幅降低每个客户端的暴露风险来缓解风险，该公式为每轮训练选择最相关的客户端更新的一个小子集。在这项工作中，我们关注两个威胁向量：（i）训练期间客户端的信息泄露，以及（ii）能够查询或获取全局模型的对手。我们假设一个可信的中心服务器，并且不对服务器受损进行建模。该方法还假设服务器可以访问具有全局数据分布的验证/测试集。在MNIST数据集上进行的300个客户端、20轮实验表明，每轮隐私暴露减少了95.2%，累积隐私暴露减少了49%，其中147个客户端的更新在训练过程中从未被使用，同时总体上保持了完全聚合的准确率甚至更优。该方法在较低规模和更复杂模型上也证明是有效的。基于CINIC-10数据集的30个客户端实验实现了每轮82%的隐私改进和33%的累积隐私改进。