防御联邦学习中的数据重构攻击：一种信息论方法

联邦学习（FL）通过交换参数而非直接共享数据，在不同客户端之间训练黑盒高维模型，从而减轻了机器学习带来的隐私泄露。然而，FL 仍然遭受成员推断攻击（MIA）或数据重构攻击（DRA）。特别是，攻击者可以通过构建 DRA 从本地数据集中提取信息，而现有技术（例如差分隐私 DP）无法有效遏制此类攻击。在本文中，我们的目标是在 DRA 下为 FL 提供强有力的隐私保证。我们证明了 DRA 下的重构误差受攻击者获取信息的约束，这意味着约束传输信息可以有效遏制 DRA。为了量化 FL 引起的信息泄露，我们建立了一个信道模型，该模型取决于本地数据集与多个传输参数之间的联合互信息上界。此外，信道模型表明可以通过数据空间操作来约束传输信息，从而在受限信息下提高训练效率和模型精度。根据该信道模型，我们提出了算法以在单轮本地训练中约束传输的信息。在有限的训练轮数下，这些算法确保了传输信息的总量受到限制。此外，我们的信道模型可应用于各种隐私增强技术（如 DP），以增强针对 DRA 的隐私保证。使用真实世界数据集的大量实验验证了我们方法的有效性。